[論文レビュー] Learning to Generate Long-term Future via Hierarchical Prediction

Ruben Villegas, Shuicheng Yan+4 more|arXiv (Cornell University)|Apr 19, 2017

Human Pose and Action Recognition参考文献 6被引用数 180

ひとこと要約

階層的フレームワークを提案し、まず高レベル構造（ポーズ）を予測し、単一の観測フレームから長期の未来フレームを生成する。ピクセルレベルの再帰による誤差蓄積を回避。Human3.6MとPenn Actionで長期的なビデオ予測の改善を実証。

ABSTRACT

We propose a hierarchical approach for making long-term predictions of future frames. To avoid inherent compounding errors in recursive pixel-level prediction, we propose to first estimate high-level structure in the input frames, then predict how that structure evolves in the future, and finally by observing a single frame from the past and the predicted high-level structure, we construct the future frames without having to observe any of the pixel-level predictions. Long-term video prediction is difficult to perform by recurrently observing the predicted frames because the small errors in pixel space exponentially amplify as predictions are made deeper into the future. Our approach prevents pixel-level error propagation from happening by removing the need to observe the predicted frames. Our model is built with a combination of LSTM and analogy based encoder-decoder convolutional neural networks, which independently predict the video structure and generate the future frames, respectively. In experiments, our model is evaluated on the Human3.6M and Penn Action datasets on the task of long-term pixel-level video prediction of humans performing actions and demonstrate significantly better results than the state-of-the-art.

研究の動機と目的

• 長期のピクセルレベルのビデオ予測は、再帰的フレーム生成による誤差の積み重ねの難しさを動機づけ、対処する。
• まず高レベルの構造を予測し、次に構造を用いて未来フレームを生成する階層的アプローチを提案する。
• 予測時に以前生成されたフレームを観測に依存せず、誤差の伝播を減らす。
• Penn ActionとHuman3.6Mといった現実世界の人間アクションデータセットで有効性を示す。

提案手法

• 観測フレームから高レベル構造（2Dポーズ熱マップ）をHourglassポーズ推定器で推定する。
• 過去のポーズダイナミクスから未来のポーズを予測するためにシーケンス-to-シーケンスLSTMを使用し、生成されたポーズのフィードバックは行わない。
• 未来フレームを視覚-構造類推で生成する：予測された未来ポーズ差分を条件に、共有の画像-構造埋め込みを介して最後の観測フレームを変換する。
• ポーズ予測器と画像生成器を別々に訓練し、テスト時にマルチステップ予測のために結合する。
• 画像品質、特徴空間の類似性、および敵対的現実性（不一致対応型識別器を用いる）に関する複合損失で最適化する。

実験結果

リサーチクエスチョン

• RQ1 フレームより先に高レベル構造を予測してピクセルレベルの誤差蓄積を防ぐことで、長期のピクセルレベルビデオ予測を改善できるか？
• RQ2 難易度の高い人間のアクションデータセットで、ポーズベースの階層的予測が現実的な未来フレーム生成にどれだけ有効か？
• RQ3 視覚-構造類推機構は、予測された高レベル構造から未来フレームを正確に生成できるか？
• RQ4 構造予測器と画像生成器の別個訓練など、訓練戦略が長期予測性能に与える影響は？
• RQ5 実データセット上で、128ステップまでの長いシーケンスを、ピクセル対ピクセル再帰法よりも良く生成できるか？

主な発見

• 階層的アプローチはPenn ActionとHuman3.6Mで最大128の未来フレームまで長期予測を可能にし、ベースラインを上回る。
• ポーズ駆動のLSTMが過去のポーズデータから未来のポーズ列を予測し、生成フレームを介した誤差の伝播を回避する。
• 共有埋め込みを用いた視覚-構造類推は、予測された構造に条件付けられた高品質な未来フレームを生成し、予測フレームを観測する必要がない。
• 主観的評価（AMT）とアクション認識テストは、畳み込みLSTMと光学フローのベースラインを上回る知覚的現実感と正しいアクション予測を示す。
• 背景動作はモデル化せず、生成には単一フレーム観測で前景の人間アクション予測に焦点を当てる。