[論文レビュー] Review of Action Recognition and Detection Methods

Soo Min Kang, Richard P. Wildes|arXiv (Cornell University)|Oct 21, 2016

Human Pose and Action Recognition参考文献 5被引用数 52

ひとこと要約

本論文は、コンピュータビジョン分野における第三人称行動認識および検出手法について包括的なレビューを提供し、特徴抽出、符号化、分類手法を分析している。最先端のアプローチをベンチマークデータセットを用いて評価し、現実世界のばらつきに対処する際の主な課題や未解決問題を特定している。

ABSTRACT

In computer vision, action recognition refers to the act of classifying an action that is present in a given video and action detection involves locating actions of interest in space and/or time. Videos, which contain photometric information (e.g. RGB, intensity values) in a lattice structure, contain information that can assist in identifying the action that has been imaged. The process of action recognition and detection often begins with extracting useful features and encoding them to ensure that the features are specific to serve the task of action recognition and detection. Encoded features are then processed through a classifier to identify the action class and their spatial and/or temporal locations. In this report, a thorough review of various action recognition and detection algorithms in computer vision is provided by analyzing the two-step process of a typical action recognition and detection algorithm: (i) extraction and encoding of features, and (ii) classifying features into action classes. In efforts to ensure that computer vision-based algorithms reach the capabilities that humans have of identifying actions irrespective of various nuisance variables that may be present within the field of view, the state-of-the-art methods are reviewed and some remaining problems are addressed in the final chapter.

研究の動機と目的

• 行動認識および検出の二段階パイプライン（特徴抽出および符号化、その後の分類）を体系的に分析すること。
• 静的背景対比で動的背景を含むさまざまな条件（静的・動的背景、現実世界の動画など）を持つ多様なベンチマークデータセットにおいて、既存のアルゴリズムの性能と限界を評価すること。
• 視点の変化、照明の変化、隠蔽などの不要変数に対する耐性の欠如や、現実世界のシナリオにおける一般化の向上の必要性を含む、継続的な課題を特定すること。
• 主に第三人称行動認識に焦点を当てつつ、深層学習ベースのモデルや第一人称行動認識といった新たなトレンドを強調すること。

提案手法

• 均等または密なサンプリングを用いたサンプリング手法や、HOG、HOF、MBHなどの記述子を用いた特徴抽出技術のレビュー。
• コードブック生成（例：K-meansクラスタリング）、特徴割り当て（例：ヒストグラムベース）、正規化を伴うプーリング（例：VLAD、フィッシャー・ベクトル）を含む符号化手法の検討。
• 決定論的分類器（例：SVM、k-NN）と確率的モデル（例：HMM、CRF）の両方を評価し、時系列モデリングに適した時空間モデルも含む。
• 検索空間を縮小するためのアクションプロポーザルの分析。スーパーセルベースのセグメンテーション、動きの手がかり、ラティスCRFを用いた高行動性領域の生成手法を検討。
• 異常行動検出と行動予測を関連タスクとして議論。正常性モデリングに基づく手法と、予測から認識への信頼度ベースの進行を用いた方法を提示。
• KTH、UCF101、HMDB51、ActivityNet、THUMOSといったデータセットの比較的分析を行い、評価プロトコルの違いや課題を強調。

実験結果

リサーチクエスチョン

• RQ1 異なる特徴抽出および符号化戦略が、行動認識および検出システムの性能にどのように影響を与えるか？
• RQ2 背景の動的変化や行動の複雑さに差があるベンチマークデータセット間で、性能と耐性にどのような主要な差が生じるか？
• RQ3 視点の変化、隠蔽、ごみだらけのシーンなどの多様な現実世界の条件下で、現在の手法がどの程度一般化できるか？
• RQ4 深層学習ベースのモデルは、従来の手作業による特徴抽出手法と比較して、正確性と効率性の面でどのように異なるか？
• RQ5 行動認識および検出において人間レベルの耐性を達成するために、まだ残っている未解決の問題は何か？

主な発見

• KTH や UCF101 のような制御されたデータセットでは、手作業で設計された特徴（例：iDT にフィッシャー・ベクトル符号化とSVMを組み合わせた手法）が強力な性能を発揮した。
• ActivityNet や Sports-1M のような大規模データセットでは、特に二ストリーム CNN が従来の手法を著しく上回った。
• アクションプロポーザル生成手法により、高行動性領域に注目することで計算コストが削減され、精度を損なわず検出の効率が向上した。
• 正常性モデリングに基づく異常行動検出手法は、監視用途において予期しない行動を特定する上で有望な結果を示した。
• 行動予測モデルは、行動が進行するにつれて徐々に信頼度が上昇する傾向を示し、安全が重要な応用分野での早期干渉を可能にした。
• 進展は見られたが、動的背景の処理、長距離時系列依存性、データセット間のドメインシフトへの対処といった課題は依然として残っている。