[論文レビュー] Multimodal Approach for Video Surveillance Indexing and Retrieval

Ali Wali, Adel M. Alimi|arXiv (Cornell University)|Aug 6, 2013

Advanced Image and Video Retrieval Techniques参考文献 11被引用数 7

ひとこと要約

本論文では、ビデオフレームから低レベルの視覚的特徴（色、テクスチャ、形状、動き）を抽出し、SVMベースの分類を用いて高レベルの概念やイベントを検出する、マルチモーダルなビデオ監視インデクシングおよびリtrievalシステムであるMAVSIRを提示する。このシステムはTRECVID 2009ベンチマークで競争力ある性能を示し、'Embrace' や 'ElevatorNoEntry' といった重要なイベントに対して低コストの正規化検出率（NDCR）スコアを達成しており、統合的特徴抽出と学習による効果的な意味的理解を示している。

ABSTRACT

In this paper, we present an overview of a multimodal system to indexing and searching video sequence by the content that has been developed within the REGIMVid project. A large part of our system has been developed as part of TRECVideo evaluation. The MAVSIR platform provides High-level feature extraction from audio-visual content and concept/event-based video retrieval. We illustrate the architecture of the system as well as provide an overview of the descriptors supported to date. Then we demonstrate the usefulness of the toolbox in the context of feature extraction, concepts/events learning and retrieval in large collections of video surveillance dataset. The results are encouraging as we are able to get good results on several event categories, while for all events we have gained valuable insights and experience.

研究の動機と目的

• 大規模なビデオ監視アーカイブへの効率的でユーザー中心のアクセスを実現するため、意味的理解に基づくコンテンツベースの検索を可能にする。
• 低レベルの視覚的記述子を抽出・統合するための統合的で拡張可能なプラットフォームを構築する。
• 動き推定、オブジェクトセグメンテーション、概念／イベント検出を統合したフレームワークを用いて、ビデオ監視のインデクシングを向上させる。
• 大規模なビデオ監視システムへの展開を可能にするために、リアルタイムで圧縮ドメインでの特徴抽出を実現する。
• ビデオコンテンツから構造的メタデータを生成することで、柔軟で文脈に基づいたクエリを可能にする。

提案手法

• 監視ビデオシーケンスから動きのあるオブジェクトを検出・セグメンテーションするため、レベルセット実装を用いた領域ベースのアクティブコンター・モデルを採用する。
• ホルン＝シュンク法によるオプティカルフローを用いて動き推定を行い、同時に動きと強度に基づくセグメンテーションを実現するアクティブコンター・モデルに統合する。
• 1フレームあたり10種類の低レベル視覚記述子を抽出する：色（ヒストグラム）、テクスチャ（ガボール、ウェーブレット、SIFT）、形状（ハウフ変換）、動き活性度（ウェーブレットベースのオプティカルフローエネルギー）。
• 特徴を背景、動きオブジェクト、キーフレーム特徴の3つのグループにラベル付け・整理することで、ビデオを意味的ラベルの列に簡略化する。
• 結合された特徴ベクトルを用いて1つのSVM分類器をトレーニングし、ビデオデータセットからの事前に定義された概念やイベントを検出する。
• 監視アプリケーションにおけるリアルタイム性能を実現するため、圧縮ドメイン処理をサポートする。

実験結果

リサーチクエスチョン

• RQ1 低レベルの視覚的特徴をどのように効果的に統合すれば、監視ビデオにおける高レベルの動画概念およびイベント検出を向上させられるか？
• RQ2 統合された動き推定とアクティブコンターによるセグメンテーションは、複雑な監視シーンにおけるオブジェクト検出精度をどの程度向上させられるか？
• RQ3 統合的特徴抽出ツールボックスは、ビデオ監視インデクシングおよびリtrievalシステムの性能とスケーラビリティを向上させられるか？
• RQ4 本システムは、TRECVID 2009のような標準ベンチマークで、イベント検出および概念検索に対してどの程度の性能を示すか？
• RQ5 結合された特徴に1つのSVM分類器を適用することで、監視文脈における意味的動画理解にどのような影響を与えるか？

主な発見

• 'ElevatorNoEntry' イベントでは最小NDCRが0.322に達し、誤検出と見逃し検出を最小限に抑える優れた性能を示している。
• 'PeopleSplitUp' イベントでは最小NDCRが0.953であり、高い複雑性にもかかわらず、堅牢な検出能力を示している。
• 'Embrace' イベントでは最小NDCRが0.961を記録し、まれだが明確なイベントを高信頼性で検出できることを示している。
• 概念検出では高い平均適合率（Average Precision）を達成しており、特に概念1、2、3、5で最高の結果を示しており、意味的コンテンツ認識の強さが裏付けられている。
• すべてのイベントにおいて競争力ある最小NDCRスコアを達成しており、低実際NDCRを考慮しないままでも、結合された視覚的特徴からの学習が効果的に行われていることが示唆されている。
• 特徴抽出パイプラインは、ビデオデータの複雑さを桁違いに低減させ、効率的な機械学習とメタデータ生成を可能にした。