[論文レビュー] Spatiotemporal Gabor filters: a new method for dynamic texture recognition

Wesley Nunes Gonçalves, Bruno Brandoli Machado+1 more|arXiv (Cornell University)|Jan 17, 2012

Image Retrieval and Classification Techniques参考文献 17被引用数 22

ひとこと要約

本稿では、時間的・空間的Gaborフィルタを用いた動的テクスチャ認識の新規手法を提案する。この手法は、異なる速度および方向にチューニングされた3次元Gaborフィルタのバンクを用いて画像系列を畳み込み、分類のためのエネルギー特徴を抽出する。Dyntexデータベースでは98.60%、Trafficデータベースでは91.50%の精度を達成し、多様な運動パターンに対して優れた性能を示した。

ABSTRACT

This paper presents a new method for dynamic texture recognition based on spatiotemporal Gabor filters. Dynamic textures have emerged as a new field of investigation that extends the concept of self-similarity of texture image to the spatiotemporal domain. To model a dynamic texture, we convolve the sequence of images to a bank of spatiotemporal Gabor filters. For each response, a feature vector is built by calculating the energy statistic. As far as the authors know, this paper is the first to report an effective method for dynamic texture recognition using spatiotemporal Gabor filters. We evaluate the proposed method on two challenging databases and the experimental results indicate that the proposed method is a robust approach for dynamic texture recognition.

研究の動機と目的

• 静的テクスチャの時間的・空間的拡張たる動的テクスチャを、新規なフィルタリング手法を用いてモデル化すること。
• 空間的および時間的感度を併せ持つ新規なフィルタクラスたる時間的・空間的Gaborフィルタの有効性を、動的テクスチャ認識の文脈で検討すること。
• フィルタパラメータ（速度および方向）が、多様な運動パターンにおける分類性能に与える影響を評価すること。
• フィルタドーピング応答からのエネルギー統計を用いて、動的テクスチャ認識のベンチマークを確立すること。

提案手法

• 本手法は、位相速度 $v$、方向 $ heta$、楕円度 $γ=0.5$ をパラメータとする3次元時間的・空間的Gaborフィルタのバンクを用いる。このフィルタはガウス包絡線に余弦波を乗算して定義される。
• 各フィルタは、画像系列に対して畳み込みを実行し、時間的・空間的応答ボリュームを生成する。
• 各フィルタ応答に対して、空間的および時間的全域における絶対値の二乗和として計算されるエネルギー統計を用いて、特徴ベクトルを構築する。
• 全フィルタからの特徴ベクトルを連結することで、各動画系列の包括的記述子を構成する。
• 分類には、10分割交差検証スキームで $k=1$ のk近傍法分類器を用いる。
• 本手法は、速度（$v$）および方向（$\theta$）の組み合わせを体系的に評価し、異なるデータベースに最適なパラメータセットを同定する。

実験結果

リサーチクエスチョン

• RQ1 時間的・空間的Gaborフィルタは、空間的および時間的変動を捉えることで、動的テクスチャを効果的にモデル化できるか？
• RQ2 フィルタの速度および方向の変更が、実世界の動的テクスチャデータベースにおける分類精度に与える影響は何か？
• RQ3 本手法は、低速または高速の運動を示す挑戦的なデータセットにおいて、既存の手法を上回る性能を示すか？
• RQ4 異なる動的テクスチャタイプに一般化可能な最適な速度および方向パラメータの組み合わせは存在するか？

主な発見

• Dyntexデータベース（炎や沸騰する水など低速の動的テクスチャを含む）では、低速フィルタ（$v = 0.1$ から $1.5$ ピixeL/フレーム）を用いて98.60%の分類精度を達成した。
• Trafficデータベース（車両の高速運動を含む）では、高速フィルタ（$v = 0.5$ から $2.0$ ピクセル/フレーム）を用いた場合に最高の91.50%の精度を達成した。
• 8方向フィルタバンクは4方向バンクを常に上回ったが、平均して1%未満の向上に留まり、単一方向の交通において4方向以上の方向分解能に限界があることが示された。
• 各データベースの最適な速度範囲は、実際の運動特性と一致しており、低速用にDyntex、高速用にTrafficに最適化されている。これは、本手法が運動ダイナミクスに敏感であることを裏付けた。
• 各フィルタ応答から抽出されたエネルギー統計は、多様な動的テクスチャにおいて特徴的な時間的・空間的パターンを効果的に捉えていた。
• 結果から、時間的・空間的Gaborフィルタは、動的テクスチャ認識のための堅牢かつ効果的な特徴抽出手法であることが示され、2つのベンチマークデータセットにおいてベースライン手法を上回った。