[論文レビュー] VideoFlow: A Conditional Flow-Based Model for Stochastic Video Generation

M. N. Anil Kumar, Mohammad Babaeizadeh+5 more|arXiv (Cornell University)|Mar 4, 2019

Video Analysis and Summarization参考文献 57被引用数 76

ひとこと要約

VideoFlow は flow-based generative models を条件付きビデオ予測へ拡張し、正確な尤度最適化、多様な確率的未来、および autoregressive video models よりも高速なフレーム合成を実現します。

ABSTRACT

Generative models that can model and predict sequences of future events can, in principle, learn to capture complex real-world phenomena, such as physical interactions. However, a central challenge in video prediction is that the future is highly uncertain: a sequence of past observations of events can imply many possible futures. Although a number of recent works have studied probabilistic models that can represent uncertain futures, such models are either extremely expensive computationally as in the case of pixel-level autoregressive models, or do not directly optimize the likelihood of the data. To our knowledge, our work is the first to propose multi-frame video prediction with normalizing flows, which allows for direct optimization of the data likelihood, and produces high-quality stochastic predictions. We describe an approach for modeling the latent space dynamics, and demonstrate that flow-based generative models offer a viable and competitive approach to generative modelling of video.

研究の動機と目的

• 複数の未来が可能な確率的なビデオ予測を動機づける。
• 過去のフレームで条件付けして将来のフレームを合成するためのフロー基盤モデルを提案する。
• 潜在ダイナミクス系を導入して流れの潜在状態の時系列的進化をモデル化する。
• 敵対的訓練のアーチファクトを回避するために、ビデオ生成の正確な対数尤度評価を可能にする。

提案手法

• 各フレームの潜在変数 z_t^(l) を用いて、フレーム x_t を潜在コード z_t に写像する多スケール可逆フローを用いる。
• 時系列全体の z_t^(l) に対して自己回帰的 prior p(z) をモデル化して時間的ダイナミクスを捉える。
• フローのヤコビ行列項と自己回帰潜在 prior を組み合わせて正確な対数尤度を最大化することで訓練する。
• 潜在ダイナミクスを時系列で自己回帰のままにして、過去のフレームに条件付けてフロー基盤生成器を動作させる。
• 自己回帰 priors を用いた 2-D 畳み込みを活用して時間的アーチファクトを回避し、より長い系列を可能にする。
• 多様性と現実感のトレードオフのために、サンプリング温度を任意に調整する。

実験結果

リサーチクエスチョン

• RQ1 条件付きフロー基盤モデルは正確な尤度最適化で高品質な確率的ビデオ予測を生成できるか？
• RQ2 Realism, diversity, and sampling speed の観点から、VideoFlow は VAE ベースおよび自己回帰ベースのビデオ予測手法とどのように比較されるか？
• RQ3 自己回帰的潜在ダイナミクス prior は、高価な 3-D 畳み込みを用いずに一貫性のある複数フレーム生成を可能にするか？
• RQ4 遮蔽下で時間的整合性を維持しつつ、より長い予測時間を生成できるか？

主な発見

• VideoFlow は BAIR で競争力のある確率的ビデオ予測結果を出し、最先端の VAE ベースモデルに近づく。
• Stochastic Movement Dataset で、VideoFlow は SAVP-VAE (16.4%) および SV2P (17.5%) より高い real-vs-fake の欺瞞率を達成した（31.8%）。
• VideoFlow はピクセルレベルの自己回帰モデルより高速なテスト時合成を実現（例：64x64x20 フレームを NVIDIA P100 で 3.5 秒未満）。
• 本モデルはデータ尤度を直接最適化し、 adversarial 訓練のアーティファクトを回避し、log-likelihoods による直接評価を可能にする。
• VideoFlow は BAIR のアクションなしデータでの Bits-Per-Pixel が 1.87 と、いくつかのベースラインより高く、尤度ベースのモデリング力が強いことを示す。
• BAIR における潜在空間補間は時間的に一貫した動作を示し、異なるレベルが異なるスケールの運動を捉える。