[論文レビュー] Dual Motion GAN for Future-Flow Embedded Video Prediction

Xiaodan Liang, Lisa Lee+2 more|arXiv (Cornell University)|Aug 1, 2017

Advanced Vision and Imaging参考文献 27被引用数 15

ひとこと要約

本稿では、共有された確率的モーショングコーダと二重 adversarial 学習を用いて、将来の動画フレームと光-flow を同時に予測する二重モーショングアンジン（Dual Motion GAN）を提案する。予測されたフレームと光-flow 間の整合性を相互フィードバックによって強制することで、モデルはよりシャープで現実的である予測を生成し、動画予測および教師なし表現学習の分野で最先端の性能を達成する。

ABSTRACT

Future frame prediction in videos is a promising avenue for unsupervised video representation learning. Video frames are naturally generated by the inherent pixel flows from preceding frames based on the appearance and motion dynamics in the video. However, existing methods focus on directly hallucinating pixel values, resulting in blurry predictions. In this paper, we develop a dual motion Generative Adversarial Net (GAN) architecture, which learns to explicitly enforce future-frame predictions to be consistent with the pixel-wise flows in the video through a dual-learning mechanism. The primal future-frame prediction and dual future-flow prediction form a closed loop, generating informative feedback signals to each other for better video prediction. To make both synthesized future frames and flows indistinguishable from reality, a dual adversarial training method is proposed to ensure that the future-flow prediction is able to help infer realistic future-frames, while the future-frame prediction in turn leads to realistic optical flows. Our dual motion GAN also handles natural motion uncertainty in different pixel locations with a new probabilistic motion encoder, which is based on variational autoencoders. Extensive experiments demonstrate that the proposed dual motion GAN significantly outperforms state-of-the-art approaches on synthesizing new video frames and predicting future flows. Our model generalizes well across diverse visual scenes and shows superiority in unsupervised video representation learning.

研究の動機と目的

• 既存の教師なし動画生成手法におけるぼやけた動画フレーム予測の限界を解消すること。
• ピixe ワイズの運動ダイナミクスを明示的にモデル化することで、将来フレーム予測のリアルさと一貫性を向上させること。
• 二重敵対的メカニズムを用いて、将来フレームと将来光-flow 予測の共同学習を可能にすること。
• 変分推論に基づく確率的モーショングコーダを用いて、自然なシーンにおける空間的モーショングアンスの不確実性を捉えること。
• 行動認識などの下流タスクにおける教師なし動画表現学習の有効性を実証すること。

提案手法

• 空間的位置における不確実性をモデル化するため、変分オートエンコーダーに基づく確率的モーショングコーダを採用する。
• 二重敵対的学習フレームワークを採用し、将来フレーム予測用と将来光-flow 予測用の二つのジェネレータを用いる。
• 実データと生成データを用いて、フレームのリアルさと光-flow のリアルさをそれぞれ評価する二つの判別器を訓練する。
• フィードバックループを実装：予測された光-flow を用いて入力フレームをワープし、ワープされたフレームを生成する。このワープフレームは、フレーム判別器によって評価される。
• 予測されたフレームと実フレームを用いて光-flow を推定し、その推定値を光-flow 判別器が評価することで、二重ループのフィードバックを閉じる。
• モーショングコーダからの共有潜在表現とフロー・ワープレイヤーを統合することで、エンド・トゥ・エンドの微分可能性を保証する。

実験結果

リサーチクエスチョン

• RQ1 フレームのみのベースラインと比較して、将来フレームと光-flow の同時予測が、動画フレーム生成のリアルさとシャープネスを向上させることができるか？
• RQ2 フレームジェネレータと光-flow ジェネレータ間の二重敵対的学習が、相互フィードバックによって両方の予測品質をどのように向上させるか？
• RQ3 確率的モーショングコーダが、複雑な動画シーンにおける空間的に変化するモーショングアンスの不確実性をどの程度捉えることができるか？
• RQ4 二重モーショングアンジンアーキテクチャは、実世界のドライブレコーダ映像を含む多様な動画ドメインに一般化可能か？
• RQ5 モデルが学習した表現は、行動分類などの教師なし動画表現学習タスクに効果的に転送可能か？

主な発見

• 二重モーショングアンジンは、将来フレーム予測において最先端の性能を達成し、KITTI および UCF-101 データセットの両方で先行手法を顕著に上回った。
• UCF-101 データセットでは、将来予測の事前学習後に行動認識で 55.1% の精度を達成し、先行する教師なし手法を上回った。
• KITTI フロー 2012 データセットでは、平均エンドポイント誤差（EPE）を 7.6 まで低減し、DVF や Ours (flow GAN) などの教師なしベースラインを上回った。
• アブレーションスタディの結果、二重敵対的メカニズムと共有された確率的モーショングコーダが性能に不可欠であることが確認され、モデルを簡略化した場合に顕著な精度低下が生じた。
• 多様で複雑な運動パターンを有する YouTube ドライブレコーダ動画に対しても、モデルは優れた一般化性能を示した。
• フレームジェネレータと光-flow ジェネレータの予測を統合することで、最も優れた結果が得られ、二重学習メカニズムの相補的利点が明確に示された。