[論文レビュー] On Encoding Temporal Evolution for Real-time Action Prediction

Dana Rezazadegan, Sareh Shirazi+2 more|arXiv (Cornell University)|Sep 22, 2017

Human Pose and Action Recognition被引用数 5

ひとこと要約

本論文は、将来の動画フレームにおける動きのピクセルを要約する動的画像（DIs）を用いて時間的変化を符号化する、リアルタイム人間行動予測のための新規アプローチを提案する。非教師あり畳み込みLSTMを用いて次のDIsを予測し、それらから行動を認識することで、3つのベンチマークデータセットで最先端の精度を達成し、複雑な行動シナリオでも優れた性能を示している。

ABSTRACT

Anticipating future actions is a key component of intelligence, specifically when it applies to real-time systems, such as robots or autonomous cars. While recent works have addressed prediction of raw RGB pixel values, we focus on anticipating the motion evolution in future video frames. To this end, we construct dynamic images (DIs) by summarising moving pixels through a sequence of future frames. We train a convolutional LSTMs to predict the next DIs based on an unsupervised learning process, and then recognise the activity associated with the predicted DI. We demonstrate the effectiveness of our approach on 3 benchmark action datasets showing that despite running on videos with complex activities, our approach is able to anticipate the next human action with high accuracy and obtain better results than the state-of-the-art methods.

研究の動機と目的

• 動的ビデオシーケンスにおける将来の人間行動のリアルタイム予測を可能にすること。
• 生のピクセル変化ではなく、運動の時間的変化をモデル化すること。
• 現実世界の動画における複雑で多様な行動に一般化可能な手法を開発すること。
• 新しい表現を用いて運動ダイナミクスを捉えることで、予測精度を向上させること。
• 非教師あり学習フレームワークを用いて最先端の性能を達成すること。

提案手法

• 将来の動画フレームのシーケンスにわたる動きのあるピクセルを集約して動的画像（DIs）を構築し、運動の変化を符号化する。
• 過去のDIsのシーケンスから次のDIsを予測するように、畳み込みLSTMネットワークを非教師ありで訓練する。
• 予測されたDIsを分類ヘッドの入力として用い、将来の行動を認識する。
• DIsからの空間時間的特徴を活用して、長距離の運動依存関係をモデル化する。
• 再構成損失を用いてエンドツーエンドに訓練し、意味のある運動表現を学習する。
• 推論のため、ラベル付き行動クラスで分類ヘッドをファインチューニングする。

実験結果

リサーチクエスチョン

• RQ1 動的画像は、将来の行動予測のための人の動きの時間的変化を効果的に符号化できるか？
• RQ2 DIs上で畳み込みLSTMを非教師ありで訓練することで、行動予測に役立つ意味のある運動表現が得られるか？
• RQ3 本手法は、複雑な動画データセットにおけるリアルタイム行動予測で最先端のアプローチと比べてどのように性能を発揮するか？
• RQ4 モデルは、多様で複雑な人間の行動にどの程度一般化できるか？
• RQ5 訓練時に大規模な行動アノテーションに依存せずに、高精度な行動予測が可能か？

主な発見

• 提案手法は、3つのベンチマーク行動認識データセットで最先端の性能を達成し、既存手法よりも行動予測精度が優れている。
• モデルは、現実世界の動画シーケンスにおける複雑で多様な人間の行動に強く一般化している。
• 動的画像上で非教師あり事前学習を行うことで、効果的な運動表現学習が可能となり、下流の行動予測性能が向上する。
• DIsを運動表現として用いることで、生のピクセル予測よりも空間時間的ダイナミクスをより効果的に捉えられる。
• 本手法はリアルタイム推論を維持でき、ロボットや自律システムへの実装に適している。
• 行動速度の変動やシーンの複雑さの変化に対してもロバストであることが、複数のデータセットで一貫した性能から裏付けられている。