[論文レビュー] VideoFlow: A Conditional Flow-Based Model for Stochastic Video Generation

M. N. Anil Kumar, Mohammad Babaeizadeh+5 more|arXiv (Cornell University)|Mar 4, 2019

Generative Adversarial Networks and Image Synthesis参考文献 50被引用数 34

ひとこと要約

VideoFlow は、潜在ダイナミクスを学習し自己回帰事前分布を用いることで、フロー型生成モデルを条件付きの動画予測へ拡張し、ピクセルレベルの自己回帰法よりも正確な尤度、多様な未来、そして高速な合成を可能にする。

ABSTRACT

Generative models that can model and predict sequences of future events can, in principle, learn to capture complex real-world phenomena, such as physical interactions. However, a central challenge in video prediction is that the future is highly uncertain: a sequence of past observations of events can imply many possible futures. Although a number of recent works have studied probabilistic models that can represent uncertain futures, such models are either extremely expensive computationally as in the case of pixel-level autoregressive models, or do not directly optimize the likelihood of the data. To our knowledge, our work is the first to propose multi-frame video prediction with normalizing flows, which allows for direct optimization of the data likelihood, and produces high-quality stochastic predictions. We describe an approach for modeling the latent space dynamics, and demonstrate that flow-based generative models offer a viable and competitive approach to generative modelling of video.

研究の動機と目的

• 実世界の sequences で未来が本質的に不確かであることを動機づける確率的動画予測。
• データ尤度を直接最適化する条件付きのフロー型動画モデルを提案する。
• 潜在空間の時系列ダイナミクスをモデル化して、各フレームのフローを可逆かつスケーラブルに保ちつつ、複数のもっともらしい未来をキャプチャする。
• 最先端の VAE ベース手法と標準ベンチマークで競合または優れた性能を示す。
• 合成速度と評価の実用的な利点を、正確な尤度の下で強調する。

提案手法

• 各動画フレーム x_t を扱いやすいヤコビアン決定量を持つ潜在 z_t に写像するマルチスケール可逆フローを用いる。
• 潜在空間を per-frame および multi-scale 成分 z_t = {z_t^(l)} (l=1..L) に因子分解する。
• 自己回帰的潜在ダイナミクス事前分布 p(z) = ∏_t p(z_t | z_{<t}) を訓練し、層ごとの条件付き p(z_t^(l) | z_{<t}^(l), z_t^(>l)) を深層ニューラルネットワークで平均/分散を予測する正規分布としてモデル化する。
• 3-D 残差ネットワークを用いて、膨張とゲート活性化を持つ平均とスケールの log を予測する。
• 可逆操作（ActNorm、Coupling、SoftPermute、Squeeze）を活用して、扱いやすい対数尤度と高速並列サンプリングを実現する。
• Fréchet Video Distance (FVD) および人間評価に対応する指標を用い、BAIR および stochastic movement データセットで SAVP-VAE、SV2P、SVG-LP と比較する。

実験結果

リサーチクエスチョン

• RQ1 過去フレームに条件付けられたフロー型モデルは、直接対数尤度の最適化で不確定な未来を捉えられるか？
• RQ2 ピクセルレベルの自己回帰に依存せず、自己回帰的潜在事前分布は現実的で多様な動画生成を可能にするか？
• RQ3 VideoFlow は標準データセットにおける尤度ベースの評価と知覚品質の点で、最先端の VAE ベースの確率的動画予測モデルと比較してどうか？

主な発見

実験/データセット	モデル	指標	値
Stochastic Movement Dataset	VideoFlow	Fooling rate (2AFC MTurk)	31.8%
Stochastic Movement Dataset	SAVP-VAE	Fooling rate (2AFC MTurk)	16.4%
Stochastic Movement Dataset	SV2P	Fooling rate (2AFC MTurk)	17.5%
BAIR action-free	VideoFlow	Bits-per-pixel	1.87
BAIR action-free	SAVP-VAE	Bits-per-pixel	≤6.73
BAIR action-free	SV2P	Bits-per-pixel	≤6.78
BAIR action-free	VideoFlow	FVD (T=0.8)	95 ± 4
BAIR action-free	VideoFlow	FVD (T=0.8)	127 ± 3
BAIR action-free	VideoFlow	FVD (T=0.8)	131 ± 5
BAIR action-free	VideoFlow	FVD (T=1.0)	149 ± 6
BAIR action-free	VideoFlow	FVD (T=1.0)	221 ± 8
BAIR action-free	VideoFlow	FVD (T=1.0)	251 ± 7
BAIR action-free	SAVP	FVD	-
BAIR action-free	SV2P	FVD	263

• VideoFlow は BAIR action-free データセットにおいて、ビット・パー・ピクセルのスコア 1.87 で競争力のある確率的動画予測を達成し、いくつかの VAE ベースのベースラインを上回る。
• 人間の判断（2AFC Mechanical Turk）では、VideoFlow は SAVP-VAE および SV2P よりも欺瞞率が高く、より現実的な未来軌跡を示す。
• Stochastic Movement Dataset では、VideoFlow の欺瞞率は 31.8% に達し、SAVP-VAE（16.4%）および SV2P（17.5%）を上回る。
• VideoFlow はピクセルレベルの自己回帰動画モデルよりも高速な合成を可能にし、64×64 の 20 フレーム動画を NVIDIA P100 GPU で 3.5 秒未満で生成。
• モデルは対数尤度を直接最適化し、変分下界や敵対的訓練を回避しつつ、共通のブラーアーチファクトなしにシャープで多様な未来を生成する。