[論文レビュー] Stochastic Variational Video Prediction

Mohammad Babaeizadeh, Chelsea Finn+3 more|arXiv (Cornell University)|Oct 30, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 74

ひとこと要約

SV2Pは、潜在変数のサンプルに対して異なるもっともらしい未来を割り当てる、マルチフレーム動画予測の確率的変分フレームワークを導入し、実世界の動画に対して決定論的および以前の確率的手法より改善する。

ABSTRACT

Predicting the future in real-world settings, particularly from raw sensory observations such as images, is exceptionally challenging. Real-world events can be stochastic and unpredictable, and the high dimensionality and complexity of natural images requires the predictive model to build an intricate understanding of the natural world. Many existing methods tackle this problem by making simplifying assumptions about the environment. One common assumption is that the outcome is deterministic and there is only one plausible future. This can lead to low-quality predictions in real-world settings with stochastic dynamics. In this paper, we develop a stochastic variational video prediction (SV2P) method that predicts a different possible future for each sample of its latent variables. To the best of our knowledge, our model is the first to provide effective stochastic multi-frame prediction for real-world video. We demonstrate the capability of the proposed method in predicting detailed future frames of videos on multiple real-world datasets, both action-free and action-conditioned. We find that our proposed method produces substantially improved video predictions when compared to the same model without stochasticity, and to other stochastic video prediction methods. Our SV2P implementation will be open sourced upon publication.

研究の動機と目的

• 複数の未来があり得る確率的な実世界の動画における未来フレームの予測という課題に対処する。
• 潜在変数の各サンプルごとに異なるもっともらしい未来を生成する潜在変数モデルを開発する。
• 実世界のデータセットで効果的な確率的動画予測を可能にする安定したトレーニング手順を提供する。

提案手法

• 確率的事象を捉えるために、潜在変数 z ~ p(z) を用いて p(x_c:T | x_0:c-1, z) という確率モデルを定式化する。
• ELBOを最適化するために、変分後方分布 q_phi(z | x_0:T) を用いて p(z|x_0:T) を近似する。
• 推論ネットワークが q_phi(z|x_0:T) のための mu_phi と log_sigma_phi を出力するニューラルアーキテクチャを実装する。
• 潜在 z を CDNA ベースの生成ネットワークに統合して z および任意の行動条件付きで次のフレームを予測する。
• 潜在の利用を促し安定した最適化を実現するために、エンドツーエンドで3つの段階で訓練する（決定論的事前学習、制約のない潜在、次に KL 正則化）。
• ビデオあたり1つの潜在変数 vs. フレームごとの潜在ダイナミクスをモデル化するために、時刻不変 vs. 時刻変動の潜在変種を探索する。

実験結果

リサーチクエスチョン

• RQ1 潜在変数を用いた動画予測モデルは、決定論的出力を超えて実世界の動画に対して複数のもっともらしい未来を生み出せるのか。
• RQ2 推論ネットワークで未来フレームを条件付けることは、確率的イベントの意味のある潜在表現の学習を改善するのか。
• RQ3 データセットを横断した一般化と安定性の観点で、時刻不変と時刻変動の潜在表現はどのように比較されるのか。
• RQ4 行動条件付けが確率的動画予測に与える影響は何か。

主な発見

• SV2P は実世界データセットにおいて、決定論的ベースラインおよび非潜在確率的モデルより高品質なマルチフレーム予測を生成する。
• 時間変動潜在サンプリングは、時間不変潜在サンプリングより長い展望でより安定した予測を生む。
• 定性的な結果は、SV2P がぼやけた平均ではなく、説得力のある範囲内で一貫性があり多様な未来を生成することを示す。
• Best-of-N サンプル分析は、サンプル数を増やすと高い PSNR の未来の可能性が高まることを示し、方法が複数の未来を捉える能力を示している。
• 行動条件付き設定では、行動が曖昧なときにもSV2P は確率的な結果を示し、ベースラインよりも鋭く意味的に有意義な予測を出す。