[論文レビュー] Unsupervised Video Analysis Based on a Spatiotemporal Saliency Detector

Qiang Zhang, Yilin Wang+1 more|arXiv (Cornell University)|Mar 24, 2015

Visual Attention and Saliency Detection参考文献 3被引用数 5

ひとこと要約

本論文は、動画ボリュームの3次元フーリエ変換からの位相情報を利用することで、学習や事前知識を必要とせず、計算効率が良く、非教師ありの動的空間時間的注目領域を検出する手法を提案する。逆フーリエ変換による正規化位相スペクトルを用いて注目マップを計算することで、空間的・時間的次元で動的な注目領域を捉えることができ、ベンチマークデータセットにおける異常検出および空間時間的注目点検出の両タスクで最先端の性能を達成した。

ABSTRACT

Visual saliency, which predicts regions in the field of view that draw the most visual attention, has attracted a lot of interest from researchers. It has already been used in several vision tasks, e.g., image classification, object detection, foreground segmentation. Recently, the spectrum analysis based visual saliency approach has attracted a lot of interest due to its simplicity and good performance, where the phase information of the image is used to construct the saliency map. In this paper, we propose a new approach for detecting spatiotemporal visual saliency based on the phase spectrum of the videos, which is easy to implement and computationally efficient. With the proposed algorithm, we also study how the spatiotemporal saliency can be used in two important vision task, abnormality detection and spatiotemporal interest point detection. The proposed algorithm is evaluated on several commonly used datasets with comparison to the state-of-art methods from the literature. The experiments demonstrate the effectiveness of the proposed approach to spatiotemporal visual saliency detection and its application to the above vision tasks

研究の動機と目的

• 空間時間的視覚的注目マップを位相スペクトル解析を用いて、単純で効率的かつ非教師ありの方法で検出するための手法を開発すること。
• 計算された注目マップが、異常検出および空間時間的注目点検出という2つの基本的ビジョンタスクにおいて有効であることを示すこと。
• 実世界の動画データセット上で本手法を評価し、精度および頑健性の観点から最先端の手法と比較すること。
• 位相情報から導出された注目マップが、ごみや動く背景などの困難な条件下でも、動きのある物体や注目すべき人体部位を効果的に強調できることを示すこと。

提案手法

• 動画ボリューム X ∈ ℝ^{M×N×T} の3次元フーリエ変換を計算し、Y = ℱ(X) を得る。ここで ℱ は3次元離散フーリエ変換を表す。
• 注目マップを |ℱ⁻¹(Y / |Y|)|² として構築する。これは、振幅を正規化しながら位相情報を強調し、理論的に位相と注目マップの関連を活用する。
• ノイズ低減および空間時間的整合性の向上を目的として、3次元ガウスフィルタを用いて注目マップを平滑化する。
• アルゴリズムは全動画シーケンスを一度に処理するため、2フレーム間の差分依存ではなく、長距離の時間的ダイナミクスを捉えることができる。
• 本手法は完全に非教師ありであり、学習や事前知識、手動チューニングを一切不要とし、FFTに基づく計算により O(N log N) 時間で動作する。
• 特徴抽出のための注目マスクとして注目マップを柔軟に統合でき、たとえば行動認識のためのヒストグラムベース記述子など、下流タスクへの応用が可能である。

実験結果

リサーチクエスチョン

• RQ1 教師なし条件下でも、位相に基づく空間時間的注目マップ検出は、動いている物体や人の動きを効果的に強調できるか？
• RQ2 多様な動画環境下において、本手法は最先端の注目マップ検出手法と比較して、精度および頑健性において優れているか？
• RQ3 計算された空間時間的注目マップは、異常検出や注目点検出といった下流ビジョンタスクの性能向上に寄与するか？
• RQ4 動画全体ではなく、注目マップから特徴を抽出することで、行動認識タスクの性能が向上するか？

主な発見

• 注目マップ特徴を用いた場合、Weizmann データセットでは95.6%、KTH データセットでは92.6%の最高精度を達成し、すべてのベースライン検出器を上回った（「proposed*」）。
• UCF Sports データセットでは、注目マップを用いた場合86.7%の精度を達成し、最良のベースライン（Dense: 81.6%）を5.1ポイント上回った。
• 注目マップは、手や四肢といった動く身体部位を効果的に強調し、静的部位よりも高い注目値（赤色領域）を割り当てた。
• UCF Sports および KTH データセットの定性的な結果から、動く背景、ごみだらけのシーン、スケール変化に対しても本手法は頑健であることが示された。
• 注目マップを用いた特徴抽出は、特にKTH や Weizmann のような単純な背景を持つデータセットにおいて、認識性能を顕著に向上させた。
• 理論的および実験的分析により、位相に基づく注目マップ計算がクaternionフーリエ変換法と強く相関していることが確認され、本手法の整合性と有効性が裏付けられた。