[論文レビュー] Human Action Recognition and Prediction: A Survey

Yu Kong, Yun Fu|arXiv (Cornell University)|Jun 28, 2018

Human Pose and Action Recognition被引用数 135

ひとこと要約

この調査は、ビデオからの視覚ベースの人間の行動認識と予測の最先端技術を網羅し、表現、分類器、データセット、課題、応用、今後の方向性を扱う。

ABSTRACT

Derived from rapid advances in computer vision and machine learning, video analysis tasks have been moving from inferring the present state to predicting the future state. Vision-based action recognition and prediction from videos are such tasks, where action recognition is to infer human actions (present state) based upon complete action executions, and action prediction to predict human actions (future state) based upon incomplete action executions. These two tasks have become particularly prevalent topics recently because of their explosively emerging real-world applications, such as visual surveillance, autonomous driving vehicle, entertainment, and video retrieval, etc. Many attempts have been devoted in the last a few decades in order to build a robust and effective framework for action recognition and prediction. In this paper, we survey the complete state-of-the-art techniques in action recognition and prediction. Existing models, popular algorithms, technical difficulties, popular action databases, evaluation protocols, and promising future directions are also provided with systematic discussions.

研究の動機と目的

• 行動認識と予測の最先端技術を網羅的に調査する。
• 認識（現在の状態）と予測（将来の状態）の違いと類似点を明確にする。
• 代表的なデータセット、評価プロトコル、実世界の応用を論じる。
• 主要な課題を特定し、今後の研究の有望な方向性を概説する。

提案手法

• 行動表現アプローチを全体的特徴と局所特徴に整理し、それぞれの長所と短所を議論する。
• 浅層（手作り）表現とディープラーニングベースの表現・分類器を検討する。
• 行動分類器を直接、逐次、時空間、部位ベースのモデルに分類し、エンドツーエンドの深層フレームワークを含める。
• データセット、評価プロトコル、クラス内/クラス間の変動やデータラベリングといった実践的課題を要約する。
• 実世界の応用と今後の研究方向を強調する。

実験結果

リサーチクエスチョン

• RQ1 さまざまな視点や背景で頑健な認識と予測を実現するための効果的な行動表現とは何か。
• RQ2 認識と予測のタスクはデータ要件や時系列モデリングの観点でどのように異なるか。
• RQ3 現実世界での展開を妨げる主な課題（変動、ノイズ、データアノテーション）は何か、そしてそれらをどう緩和できるか。
• RQ4 自動運転など緊急シナリオでの行動予測を進展させる最も有望な方向性は何か。

主な発見

• 本調査は行動認識と予測の最先端技術を統合し、データセット、プロトコル、課題を論じる。
• 完全な行動の認識と不完全な系列からの行動予測の区別を強調する。
• 全体的、局所的、軌跡ベース、部位ベース、ディープラーニングアプローチなど、広範な表現と分類器のファミリーを調査する。
• 監視、ビデオ検索、エンタテインメント、人間-ロボット相互作用、自動運転などの実世界の応用を論じる。
• クラス内変動とクラス間変動、混雑、カメラの動き、データ不足、アクション語彙、予測性の偏りといった主要な課題を特定する。
• 現在の研究における有望な方向性とギャップを概説する。