[論文レビュー] Advances in Human Action Recognition: A Survey

Guangchun Cheng, Yiwen Wan+3 more|arXiv (Cornell University)|Jan 23, 2015

Human Pose and Action Recognition参考文献 89被引用数 124

ひとこと要約

このサーベイは2009年から2013年までの人体行動認識分野における最新の進展をレビューし、AggarwalとRyoo（2011）に準拠した分類法に従って、単層型および階層型の手法に分類している。特徴表現、学習、認識の分野における進歩、特に統計的、構文的、記述ベースのフレームワークについて強調し、複雑なシーンにおける確率的および論理的推論を用いた高水準行動認識への移行が顕著であることを明らかにしている。

ABSTRACT

Human action recognition has been an important topic in computer vision due to its many applications such as video surveillance, human machine interaction and video retrieval. One core problem behind these applications is automatically recognizing low-level actions and high-level activities of interest. The former is usually the basis for the latter. This survey gives an overview of the most recent advances in human action recognition during the past several years, following a well-formed taxonomy proposed by a previous survey. From this state-of-the-art survey, researchers can view a panorama of progress in this area for future research.

研究の動機と目的

• 2009年から2013年までの人体行動認識研究を包括的かつ最新の状況に即してサーベイすること。特に、先行サーベイでカバーされていない手法に焦点を当てる。
• AggarwalとRyooのフレームワークに基づき、一貫性のある分類法を確立し、単層型と階層型のアプローチを区別すること。
• 主なデータセット上で最近の認識手法を評価・比較し、特徴表現、学習、分類の分野における進歩に焦点を当てる。
• 特に複雑な現実世界のシナリオにおいて、確率的および論理的推論を用いた高水準行動認識へのシフトを強調すること。
• 記述ベースのアプローチに向けた標準化されたデータセットの欠如といった、現在の研究におけるギャップを特定し、ドメイン間統合フレームワークの導入を提言すること。

提案手法

• 人体行動認識手法を、画像／動画から直接認識する単層型と、低レベルの行動から高レベルの行動へと段階的に認識する階層型のアプローチに分類する。
• 空間的・時間的特徴抽出技術をレビューし、特に動画入力に対しては、時空間的関心点、局所的スパatio-時系列特徴、3次元ボリューム表現を含む。
• 学習および分類手法を分析し、統計モデル（例：SVM、HMM）、構文モデル（例：形式文法、PNFネットワーク）、時系列論理およびマークフ・ロジック・ネットワーク（MLN）を用いた記述ベースのフレームワークを含む。
• KTH、Weizmann、IXMAS、CMU MoBo、UCF といった公開データセットを用いて認識システムを評価し、異なる手法的カテゴリー間での性能を比較する。
• 低レベルの観測に伴う不確実性を扱い、高レベル行動推論を向上させるために、確率的推論（例：ベイジアンネットワーク、MLN）を統合する。
• トラジェクトリ追跡、スパatio-時系列論理、確率的推論を統合したフレームワークを提案し、バスケットボールゲームのような複雑なシナリオにおけるイベントアノテーションに応用する。

実験結果

リサーチクエスチョン

• RQ1 最近の特徴表現および学習技術の進歩は、制限付き環境と現実世界の両方において、人体行動認識の精度をどの程度向上させたか？
• RQ2 低レベルの行動と高レベルの行動を認識する際、単層型と階層型のアプローチには、どのような主な違いとトレードオフがあるか？
• RQ3 形式論理および確率的モデルを用いた構文的および記述ベースの手法は、行動認識の解釈可能性と耐障害性をどの程度向上させるか？
• RQ4 KTH や Weizmann といった標準データセットでは高い性能を示す現在の最先端手法が、Hollywood や YouTube 動画のような現実的データセットではなぜ低い精度にとどまるのか？
• RQ5 現在の記述ベースのアプローチの限界は何か。標準化されたデータセットと評価プロトコルの導入は、高水準行動認識分野における比較可能性と進歩をどのように改善できるか？

主な発見

• 単層型アプローチ、特に時空間的関心点と3次元動画特徴を用いた手法は、KTH（例：Zeng’10で92.1％）やCMU MoBo（Han’10で98.27％）といった制限付きデータセットで高い精度を達成している。
• 統計モデル（例：HMM、SVM）に基づく階層型アプローチは、複雑な行動認識において単純な手法を上回っており、Zeng’10ではWeizmannで100％、KTHで92.1％の精度を達成している。
• 時系列論理およびマークフ・ロジック・ネットワーク（MLN）を用いた記述ベースのフレームワークは、バスケットボールゲームのような複雑なシナリオでも高水準行動推論を可能にし、Morariu’09では72％の精度を達成している。
• 進歩は見られるものの、Hollywood や YouTube 動画のような現実的データセットでは認識精度が著しく低下しており、ラボ環境と現実世界の性能格差が顕在化している。
• 記述ベースのアプローチに向けた標準化されたデータセットの欠如が、公平な比較を妨げており、高水準行動認識分野における手法の進歩を阻害している。
• 形式論理と確率的推論（例：MLN）を統合する傾向が顕著になっており、複雑で動的な環境における不確実性のモデル化と解釈可能性の向上に寄与している。