[論文レビュー] Stochastic Video Generation with a Learned Prior

Emily Denton, Rob Fergus|arXiv (Cornell University)|Feb 21, 2018

Generative Adversarial Networks and Image Synthesis被引用数 304

ひとこと要約

本論文は、時間変化する学習済み事前分布を備えた確率的な動画生成モデル SVG-LP を紹介する。これと決定論的フレーム予測子を組み合わせることで、鋭く多様な将来フレームを生成し、動画ダイナミクスにおける不確実性を捉えることができる。

ABSTRACT

Generating video frames that accurately predict future world states is challenging. Existing approaches either fail to capture the full distribution of outcomes, or yield blurry generations, or both. In this paper we introduce an unsupervised video generation model that learns a prior model of uncertainty in a given environment. Video frames are generated by drawing samples from this prior and combining them with a deterministic estimate of the future frame. The approach is simple and easily trained end-to-end on a variety of datasets. Sample generations are both varied and sharp, even many frames into the future, and compare favorably to those from existing approaches.

研究の動機と目的

• 世界の本質的な不確実性の下で将来のビデオフレームを予測する課題を動機づける。
• 決定論的予測と確率的潜在変数を分離する確率的動画生成モデルを提案する。
• 重要な場所での不確実性をモデル化するために時間とともに変化する学習済み事前分布を導入する（例:衝突）。
• 潜在分布を推定する再帰的推論ネットワークを用いたエンドツーエンド訓練を可能にする。
• 鋭く多様な生成を示す現実世界データセットと合成データセットでアプローチを評価する。

提案手法

• 時間依存の潜在変数 z_t を用いた決定論的フレーム予測子 p_theta を組み合わせる。
• q_phi(z_t|x_1:t) と prior p(z) または p_psi(z_t|x_1:t-1) との間の KL項を含む変分下界を用いる。
• 2つのバリアントを提供: p(z)=N(0,I) の固定事前分布を用いる SVG-FP と、時間変化する学習済み事前分布 p_psi(z_t|x_1:t-1) を用いる SVG-LP。
• 後方分布を近似する推定ネットワーク q_phi(z_t|x_1:t) を用いて訓練し、サンプリングには再パラメータ化を使用する。
• SVG-LP では prior ネットワークが過去のフレームを条件として次ステップの潜在分布を予測するため、長距離生成をより鋭くする。

実験結果

リサーチクエスチョン

• RQ1 各時刻で潜在変数を用いる確率的な動画生成モデルは、純粋な決定論的モデルよりも将来フレームの分布をよりよく捉えることができるか。
• RQ2 時間変化する事前分布を学習することは、特に衝突のような本質的不確実イベントの周りで、サンプルの鋭さとリアリズムを向上させるか。
• RQ3 再帰的推論ネットワークを用いたエンドツーエンド訓練は、訓練の安定性と生成の質の点で従来の研究とどう比較されるか。
• RQ4 実データと合成データセットにおける SVG-FP と SVG-LP の比較的利点は何か。
• RQ5 敵対的トレーニングなしで、モデルは多様な将来を生成できるか。

主な発見

• SVG-FP および SVG-LP は、データセット全体で決定論的なベースラインよりも鋭く多様な将来フレームを生成する。
• 学習済みの事前分布における不確実性処理を特化することで、SVG-LP はしばしば SVG-FP よりも長距離生成をより鋭くかつ正確にする。
• 確率的な moving MNIST では、SVG-LP は将来の分布を捉え、長いステップ後も鋭さを保つ。
• BAIR ロボットデータでは、SVG-FP および SVG-LP が SSIM で先行研究を上回り、PSNR も競争力があり、SVG-LP はより鋭いフレームを提供する。
• 定性的な結果は、多様なもっともらしい将来と正確な運動を示し、特に衝突のような不確実イベントの周辺で顕著である。