[論文レビュー] Review of Video Predictive Understanding: Early Action Recognition and Future Action Prediction

He Zhao, Richard P. Wildes|arXiv (Cornell University)|Jul 11, 2021

Human Pose and Action Recognition参考文献 168被引用数 4

ひとこと要約

本調査は、初期アクション認識と将来アクション予測に焦点を当てた動画予測理解について、マルコフ連鎖、ガウス過程、LSTM やトランスフォーマーなどのディープラーニングモデルを用いた数十年にわたる研究を統合的にレビューする。データ不足、一般化性能の低さ、解釈不能性といった主な課題を特定するとともに、より優れた長期モデリング、統合的特徴・予測学習、自己教師付き表現学習の向上を提言し、耐障害性・スケーラブルな動画予測システムの発展を促進する。

ABSTRACT

Video predictive understanding encompasses a wide range of efforts that are concerned with the anticipation of the unobserved future from the current as well as historical video observations. Action prediction is a major sub-area of video predictive understanding and is the focus of this review. This sub-area has two major subdivisions: early action recognition and future action prediction. Early action recognition is concerned with recognizing an ongoing action as soon as possible. Future action prediction is concerned with the anticipation of actions that follow those previously observed. In either case, the extbf{ extit{causal}} relationship between the past, current, and potential future information is the main focus. Various mathematical tools such as Markov Chains, Gaussian Processes, Auto-Regressive modeling, and Bayesian recursive filtering are widely adopted jointly with computer vision techniques for these two tasks. However, these approaches face challenges such as the curse of dimensionality, poor generalization, and constraints from domain-specific knowledge. Recently, structures that rely on deep convolutional neural networks and recurrent neural networks have been extensively proposed for improving the performance of existing vision tasks, in general, and action prediction tasks, in particular. However, they have their own shortcomings, \eg reliance on massive training data and lack of strong theoretical underpinnings. In this survey, we start by introducing the major sub-areas of the broad area of video predictive understanding, which recently have received intensive attention and proven to have practical value. Next, a thorough review of various early action recognition and future action prediction algorithms are provided with suitably organized divisions. Finally, we conclude our discussion with future research directions.

研究の動機と目的

• 動画予測理解のコアなサブフィールドとしての初期アクション認識と将来アクション予測について、体系的なレビューを提供すること。
• マーカフ連鎖、ベイズフィルタリングなどの既存の数学的ツール（例：マルコフ連鎖、ガウス過程）およびRNN、CNNなどのディープラーニングアーキテクチャの動画予測タスクにおける強みと限界を分析すること。
• 現在のモデルにおけるデータ依存性、一般化性能の低さ、解釈不能性といった重要な課題を特定すること。
• より優れた長期モデリング、統合的特徴・予測学習、自己教師付き表現学習といった今後の研究方向性を提案すること。
• 観測比と時系列モデリングが予測性能に与える影響を評価し、より良いデータセットと評価プロトコルの整備を提言すること。

提案手法

• 初期アクション認識と将来アクション予測の両分野にまたがる12の主要なアルゴリズムファミリー（例：ワンショットマッピング、知識蒸留、プロパゲーションベース手法、教師-生徒学習）を分類・レビューすること。
• 時系列推論と不確実性推定に用いられる確率的モデル（例：ガウス過程、カルマンフィルタリング、ポアソン過程）の使用を分析すること。
• エンドツーエンドの特徴学習とシーケンスモデリングに用いられるディープラーニングフレームワーク（例：Encouraging-LSTM、ディープカルマンフィルタリング、VAE-ポアソン過程）を検討すること。
• 構造的出力層を用いて、アクションラベルと時系列持続時間の両方を同時に予測するマルチタスク・ジョイント予測モデルの評価。
• 日常的行動シナリオにおけるアクション予測の向上を目的として、第一人称視点を活用するエゴセントリック動画予測手法を検討すること。
• 将来予測と統合された意味的特徴抽出の統合を提言し、ノイズや部分的観測下でも耐障害性を高めること。

実験結果

リサーチクエスチョン

• RQ1 マルコフ連鎖、ガウス過程などの異なる数学的ツール（例：マルコフ連鎖、ガウス過程）は、動画予測における時系列依存性をどのようにモデル化するか？
• RQ2 データ効率性と解釈可能性の観点から、現在のディープラーニングベースのアプローチにおける初期アクション認識と将来アクション予測の主な限界は何か？
• RQ3 意味的特徴抽出の品質が、動画理解における長期予測性能にどの程度影響を及えるか？
• RQ4 長期相関性と遠隔歴史的キューを効果的にモデル化することで、アクション予測の正確性をどのように向上できるか？
• RQ5 自己教師付きおよび教師なし表現学習は、動画予測における大規模なアノテート済みデータセットへの依存をどの程度軽減できるか？

主な発見

• LSTM やトランスフォーマーなどのディープラーニングモデルは、予測精度を著しく向上させたが、しばしば大量のラベル付きデータを必要とし、理論的根拠が弱い傾向にある。
• マルチタスクモデルを用いたアクションと時間持続時間の同時予測は、Epic-Kitchen データセットで、1秒以内の将来アクション予測において78.5％の精度を達成し、性能向上を実証した。
• 特徴抽出と予測を統合したモデル（例：ディープカルマンフィルタリング）は、ノイズや部分的観測下でも耐障害性が向上している。
• 長期フィルタリング機構（例：長期フィルタバンク）は、将来のアクション予測に影響を与える遠隔歴史的キューを捉える可能性を示している。
• 初期アクション認識モデルの性能は観測比に極めて敏感であり、特徴品質が低い場合、たとえ50％の動画入力でも顕著な性能低下が生じる。
• 現在の評価指標は、しばしば現実世界の制約を反映しておらず、観測比とアクション進化速度の相関分析を含めた、実用的観測比を用いたモデルの再評価が求められる。