[論文レビュー] Feature sampling and partitioning for visual vocabulary generation on large action classification datasets

Michael Sapienza, Fabio Cuzzolin+1 more|arXiv (Cornell University)|May 29, 2014

Human Pose and Action Recognition参考文献 23被引用数 20

ひとこと要約

本稿では、アクション認識における視覚的語彙生成のための特徴抽出法およびパーティショニング戦略の体系的評価を提案し、バランスの取れた抽出法と、各コンポonentまたは各カテゴリごとの語彙学習が、大規模データセット上で性能を顕著に向上させることを示している。最適化された抽出法およびパーティショニングを用いたフィッシャー・ベクトルを用いることで、UCF101で81.24%の正確度、Hollywood2で65.16%のmAPを達成し、先行研究に比べて最大37.34%の正確度向上を達成した。

ABSTRACT

The recent trend in action recognition is towards larger datasets, an increasing number of action classes and larger visual vocabularies. State-of-the-art human action classification in challenging video data is currently based on a bag-of-visual-words pipeline in which space-time features are aggregated globally to form a histogram. The strategies chosen to sample features and construct a visual vocabulary are critical to performance, in fact often dominating performance. In this work we provide a critical evaluation of various approaches to building a vocabulary and show that good practises do have a significant impact. By subsampling and partitioning features strategically, we are able to achieve state-of-the-art results on 5 major action recognition datasets using relatively small visual vocabularies.

研究の動機と目的

• 大規模アクション分類のための視覚的語彙構築における特徴抽出法およびパーティショニング戦略の影響を評価すること。
• 長時間の動画や過剰に頻出するアクションクラスに偏る均一なランダム抽出法のバイアスを是正すること。
• 各特徴コンポonentや各アクションクラスごとに別々の視覚的語彙を学習することで性能が向上するかを調査すること。
• 大規模データセットにおけるSOTA性能を達成するための語彙サイズ、抽出戦略、符号化手法の最適な設定を特定すること。
• 利用可能な最大規模かつ最も挑戦的なアクション認識ベンチマークにおいて、これらの設計選択の包括的実証的評価を提供すること。

提案手法

• 各動画およびアクションクラスから固定数の特徴を抽出するバランスの取れた抽出戦略を提案し、長時間の動画や頻度の高いアクションに偏らないようにする。
• 特徴空間のパーティショニングを導入し、例えば軌道、HOG、HOFなどの各特徴コンポonentごとに別々の視覚的語彙を学習する（単一の統合語彙ではなく）。
• 各カテゴリごとの視覚的語彙学習を適用し、各アクションクラスに特化した特徴をよりよく捉えるために、各クラスごとに別々の語彙を訓練する。
• 学習済み語彙から高次元で判別性の高い動画表現を生成するために、Fisherベクトル符号化とk-meansクラスタリングを適用する。
• 語彙サイズKと次元Dを含む最適化されたハイパーパramータを用いた、グローバルなBag-of-Features（BoF）およびFisherベクトルパイプラインを実装する。
• UCF101、Hollywood2、HMDB、USF101の5つの主要データセットを対象に、複数のトレイン・テスト分割を用いた体系的な実験プロトコルを実装し、評価の信頼性を確保する。

実験結果

リサーチクエスチョン

• RQ1 均一なランダム抽出法と比較して、動画およびアクションクラス全体にわたる均一な抽出（バランスの取れた抽出）が、大規模アクション認識データセット上で性能向上をもたらすか？
• RQ2 例えばHOG、HOF、軌道などの異なる特徴コンポonentごとに別々の視覚的語彙を学習するのと、単一の統合語彙を学習するのとでは、性能にどのような影響があるか？
• RQ3 各カテゴリごとの視覚的語彙学習は、グローバルBoFやFisherベクトル符号化と比較して、正確度および一般化性能においてどう異なるか？
• RQ4 小規模な視覚的語彙（例：K=128–256）と高度な符号化法（例：Fisherベクトル）を組み合わせることで、大規模データセット上でSOTA性能を達成できるか？
• RQ5 抽出戦略、語彙パーティショニング、符号化手法の各要因が、アクション分類全体の性能に果たす相対的寄与度は何か？

主な発見

• バランスの取れた抽出法は53%の実験で均一なランダム抽出法を上回り、特にHollywood2（65.16% mAP）とHMDB（50.17%正確度）で最高の結果を達成した。
• 各特徴コンポonent（例：軌道、HOG、HOF）ごとに別々の視覚的語彙を学習することで、特にFisherベクトル符号化と組み合わせた場合に顕著な性能向上が見られた。
• 各カテゴリごとの視覚的語彙学習はグローバルBoFを上回ったが、UCF101 や HMDB のようなより大規模で複雑なデータセットではFisherベクトルに及ばなかった。
• 本手法はUCF101で81.24%の正確度、82.35%のmAP、80.57%のF1スコアを達成し、[12]で報告された元の結果より最大37.34%の正確度向上を達成し、新たなSOTAとなった。
• HMDBデータセットは依然として最も挑戦的であり、バランスの取れた抽出法とランダム抽出法との間で性能差が最大となり、不均衡の影響がより難しいデータセットで顕著に現れた。
• 計算コストの大部分はディスクからの特徴読み込みに費やされており（UCF101で163.52 CPU時間）、大規模動画解析においてI/Oの効率化の重要性が浮き彫りになった。