[論文レビュー] Stochastic Adversarial Video Prediction

Alex X. Lee, Richard Zhang+4 more|arXiv (Cornell University)|Apr 4, 2018

Adversarial Robustness in Machine Learning参考文献 49被引用数 226

ひとこと要約

本論文はSAVPを提案します。SAVPはVAEベースの潜在変数とGANベースの対立的学習を組み合わせた確率的動画予測モデルで、将来の動画フレームを多様で現実的に生成し、現実性と多様性の点で従来の方法を上回ります。

ABSTRACT

Being able to predict what may happen in the future requires an in-depth understanding of the physical and causal rules that govern the world. A model that is able to do so has a number of appealing applications, from robotic planning to representation learning. However, learning to predict raw future observations, such as frames in a video, is exceedingly challenging -- the ambiguous nature of the problem can cause a naively designed model to average together possible futures into a single, blurry prediction. Recently, this has been addressed by two distinct approaches: (a) latent variational variable models that explicitly model underlying stochasticity and (b) adversarially-trained models that aim to produce naturalistic images. However, a standard latent variable model can struggle to produce realistic results, and a standard adversarially-trained model underutilizes latent variables and fails to produce diverse predictions. We show that these distinct methods are in fact complementary. Combining the two produces predictions that look more realistic to human raters and better cover the range of possible futures. Our method outperforms prior and concurrent work in these aspects.

研究の動機と目的

• 将来の動画予測の多モード性に対処するため、確率性をモデル化する。
• 現実性と多様性を向上させるため、潜在変数モデリングと対向学習を統合する。
• 確率的な動画予測におけるVAEとGANの成分がどのように相補的であるかを評価する。
• 現実性、多様性、精度の点で、SAVPを従来のVAEベースおよびGANベースの手法と比較する。
• 人間の判断と知覚的多様性指標を含む評価戦略を提案する。

提案手法

• 初期フレームと時間変化する潜在コードを受け取る再帰的生成器を用いて未来フレームを予測します。
• 訓練は、変分下限目的と対向損失を組み合わせたもの（VAE-GANフレームワーク）。
• 潜在コードはエンコーダで推定され、標準ガウス分布前提へ正則化された後の後方分布を形成します。
• 別個のビデオ識別器（およびVAE専用識別器）が、結合動画分布を一致させることによって現実味を導きます。
• 生成器は、チャンネル次元に沿って潜在コードで条件付けされたスキップ接続を持つ畳み込みLSTMです。
• 評価は、人間の判断や知覚的多様性指標を含む定性的・定量的指標の双方を用います。

実験結果

リサーチクエスチョン

• RQ1 VAE-GANアーキテクチャは、多様で現実的な確率的動画予測の双方を生成できるか？
• RQ2 潜在変数モデリングと対向訓練を組み合わせることは、動画予測において純粋なVAEや純粋なGANアプローチを上回るか？
• RQ3 実世界データセットにおけるSAVPの各変種で、現実性・多様性・精度のトレードオフはどうなるか？
• RQ4 動画の現実性と予測的多様性に対する人間の判断を最もよく反映する評価戦略は何か？

主な発見

• SAVPモデルは、従来のVAEベースの方法より現実性を向上させ、GANベースの方法より多様性を高める。
• VAEベースの変種はより高い多様性を生み出し、GANベースの変種はより高い現実性を生む。SAVPは両方のバランスを取る。
• 標準的なピクセル単位の指標（PSNR/SSIM）は人間の判断と一致しない可能性があるため、人間の2AFCテストを用いた。
• 多様性はVGGベースの知覚距離で測定され、SAVPが多様な将来を保持することを示す。
• BAIRとKTHデータセットで、SAVPは人間の評価で従来法より高い現実性を示す。
• アブレーション分析は、最良の総合性能にはVAEとGANの両方の要素が必要であることを示す。