[論文レビュー] Anticipation and next action forecasting in video: an end-to-end model with memory

Fiora Pirri, Lorenzo Mauro+4 more|arXiv (Cornell University)|Jan 11, 2019

Human Pose and Action Recognition参考文献 1被引用数 7

ひとこと要約

本論文は、動的メモリを備えたエンドツーエンドの予測・予測ネットワーク（AFN）を提案し、動画シーケンスにおいて現在の行動を同時に予測し、未観測の次の行動を予測することを目的としている。時間的文脈をメモリ拡張アーキテクチャとProtoNetベースの行動分類によって活用することで、複数のデータセットで最先端の性能を達成し、最適なタイミング条件下でBreakfastデータセットにおいて94.72%の精度を達成した。

ABSTRACT

Action anticipation and forecasting in videos do not require a hat-trick, as far as there are signs in the context to foresee how actions are going to be deployed. Capturing these signs is hard because the context includes the past. We propose an end-to-end network for action anticipation and forecasting with memory, to both anticipate the current action and foresee the next one. Experiments on action sequence datasets show excellent results indicating that training on histories with a dynamic memory can significantly improve forecasting performance.

研究の動機と目的

• 行動の持続時間に依存せずに、動画シーケンスにおける次の未観測行動を予測する課題に対処すること。
• 動的メモリ機構を用いて長期間の時間的依存関係をモデル化することで、行動予測と次の行動予測の両方を向上させること。
• トリムドでない動画ストリームにおいて、リアルタイムかつ早期に将来の行動を予測可能にする。これはロボット工学、スポーツアナリティクス、人間-ロボットインタラクションに有用である。
• 従来の手法が現在の行動予測にのみ焦点を当てており、将来の行動を完全に観測する必要があるという制限を克服すること。
• 単一のエンドツーエンドで学習可能なアーキテクチャを用いて、現在の行動と次の行動を同時に予測する統合フレームワークを導入すること。

提案手法

• 長期間の行動履歴を符号化・保持するための動的メモリモジュールを備えたエンドツーエンドの深層ニューラルネットワークを採用する。
• 1秒間のフレーム6枚をサンプリングして抽出した視覚的・運動的特徴に基づき、ProtoNetベースのヘッドを用いて行動を分類する。
• 過去の行動からの文脈的情報を蓄積・更新するメモリユニットを統合し、現在の予測と次の行動予測の両方を支援する。
• 時間的開始時刻の不確実性に対処するため、固定の1秒間の予測ウィンドウを適用し、複数のデータセット間での一貫性ある評価を確保する。
• 行動分類には交差エントロピー損失、予測にはカスタム指標を用い、部品の寄与度を検証するためのアブレーションスタディを実施する。
• 畳み込み層からの特徴抽出と補助接続を活用することで、表現学習を強化し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統合された深層学習モデルは、トリムドでない動画シーケンスにおいて、現在の行動を予測し、未観測の次の行動を効果的に予測できるか？
• RQ2 動的メモリ機構を組み込むことで、メモリのないモデルと比較して、長期間の行動予測性能がどの程度向上するか？
• RQ3 次の行動に近づくに従って、モデルの次の行動予測性能はどの程度変化するか？
• RQ4 多様なデータセットにおいて、提案されたAFNモデルは、行動予測および次の行動予測の両面で最先端の手法と比較してどのように性能を発揮するか？
• RQ5 個々の部品（例：メモリ、ProtoNet、補助接続）が全体の予測精度に果たす寄与度はどの程度か？

主な発見

• AFNは、同じ評価プロトコル下で、JHMDBおよびUCF101における行動予測で最先端の性能を達成し、従来手法を上回った。
• Breakfastデータセットでは、モデルが現在の行動の1～50％の位置にいる状態で、次の行動予測の精度が94.72％に達した。
• 全データセットで高い予測精度（93.4～94.7％）を維持し、MPII（93.4％）およびBreakfast（94.72％）で最高の性能を示した。
• 次の行動を予測する際、過去のシーケンス長が延びるに従い、ベースラインと比較して、正確性（top-1）が11～13％向上し、最大で17％の精度向上を達成した。
• アブレーションスタディにより、メモリモジュールや補助接続を削除すると顕著な性能低下が生じ、これらが長期間の文脈モデリングにおいて重要な役割を果たしていることが確認された。
• Breakfastの混同行列では、行動クラス全体で一貫した性能を示し、大多数の予測がトップ-1精度内に収まっており、一般化性能の高さが裏付けられた。