[論文レビュー] Encouraging LSTMs to Anticipate Actions Very Early

Mohammad Sadegh Aliakbarian, Fatemeh Sadat Saleh+4 more|arXiv (Cornell University)|Mar 21, 2017

Human Pose and Action Recognition被引用数 21

ひとこと要約

本論文では、動画シーケンスにおけるアクションの早期予測を促進する新しいアンチシパション損失を備えた、新規のマルチステージLSTMアーキテクチャを提案する。文脈に配慮した特徴とアクションに配慮した特徴を同時にモデリングすることで、SOTAを上回る性能を達成し、JHMDB-21では22.0%、UT-Interactionでは14.0%、UCF-101では49.9%の相対的向上を示した（動画シーケンスの1%の入力における非常に早期の予測を想定）。

ABSTRACT

In contrast to the widely studied problem of recognizing an action given a complete sequence, action anticipation aims to identify the action from only partially available videos. As such, it is therefore key to the success of computer vision applications requiring to react as early as possible, such as autonomous navigation. In this paper, we propose a new action anticipation method that achieves high prediction accuracy even in the presence of a very small percentage of a video sequence. To this end, we develop a multi-stage LSTM architecture that leverages context-aware and action-aware features, and introduce a novel loss function that encourages the model to predict the correct class as early as possible. Our experiments on standard benchmark datasets evidence the benefits of our approach; We outperform the state-of-the-art action anticipation methods for early prediction by a relative increase in accuracy of 22.0% on JHMDB-21, 14.0% on UT-Interaction and 49.9% on UCF-101.

研究の動機と目的

• 自律走行などのリアルタイム応用にとって不可欠な、極めて短い動画シーケンスからのアクション予測の課題に対処すること。
• 最小限の入力フレーム数でも早期の正しい予測を促進しない既存の損失関数の限界を克服すること。
• 高価なオプティカルフロー計算に依存せずに、文脈に配慮した特徴とアクションに配慮した特徴を効果的に統合するモデルの開発。
• 動画入力の最も初期段階で予測精度を向上させ、安全が求められる状況における迅速なシステム反応を可能にすること。

提案手法

• フルRGBフレームから文脈に配慮した特徴を最初に抽出し、その後、アクションに関連する領域に局在化されたアクションに配慮した特徴と融合するマルチステージLSTM（MS-LSTM）を導入する。
• クラス固有の活性化マップを用いてアクションに配慮した特徴を生成することで、オプティカルフローに依存せずに動画の特徴的な部分に注目できるようにする。
• 初期段階で誤検出（偽陰性）を強くペナルティ化するが、曖昧な初期段階では誤検出（偽陽性）のペナルティを軽減する、新規のアンチシパション損失を設計する。
• 訓練の安定化と早期予測性能の向上を図るために、特徴マップに対して平均プーリングを適用する。
• 新しいアンチシパション損失を組み合わせたクロスエントロピー損失を用いて、エンドツーエンドでモデルを訓練する。この損失は、初期予測の重要性を動的に調整する。
• オプティカルフローまたは運動ベースの特徴に依存せず、1枚のGPU上で2ストリームベースラインと比較して14倍高速な推論速度を実現した。

実験結果

リサーチクエスチョン

• RQ1 動画シーケンスの初期段階で可能な限り早く正しい予測を下すよう促進する損失関数を設計することは可能か？
• RQ2 文脈に配慮した特徴とアクションに配慮した特徴を組み合わせることで、単独で使用する場合と比較して、早期アクションアンチシパション性能がどのように向上するか？
• RQ3 オプティカルフローを排除することで、性能を損なわず、どの程度効率が向上するか？
• RQ4 1%の動画しか観測しない状況でも、提案手法がSOTA手法と比べて著しく高い精度を達成できるか？

主な発見

• 提案されたアンチシパション損失により、1%の動画シーケンスからの予測において、JHMDB-21でSOTAを22.0%相対的に上回る精度を達成した。
• UT-Interactionでは、同じ早期予測設定下で、先行手法と比較して14.0%の相対的精度向上を達成した。
• UCF-101では、1%の動画入力において49.9%の相対的精度向上を達成し、優れた早期予測能力を示した。
• 2フレーム（30fpsで約1/15秒）しか観測しない状況でも、他のモデルが30〜40フレームを必要としているのと同等の精度を達成し、1秒分の早期予測が可能になった。
• 文脈に配慮した特徴とアクションに配慮した特徴の組み合わせにより、UCF-101におけるK=1（1フレーム目）での精度が80.5%に達した。これは、文脈特徴のみ（62.80%）やアクション特徴のみ（69.33%）を使用するモデルと比較して顕著に優れていた。
• 50フレームの動画を処理する際、2ストリームベースラインと比較して14倍高速に処理でき、性能を損なわず高い効率性を実現した。