[论文解读] Stochastic Variational Video Prediction

Mohammad Babaeizadeh, Chelsea Finn+3 more|arXiv (Cornell University)|Oct 30, 2017

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 74

一句话总结

SV2P 引入一种用于多帧视频预测的随机变分框架，为潜变量样本分配不同的合理未来，在现实世界视频上优于确定性方法和先前的随机方法。

ABSTRACT

Predicting the future in real-world settings, particularly from raw sensory observations such as images, is exceptionally challenging. Real-world events can be stochastic and unpredictable, and the high dimensionality and complexity of natural images requires the predictive model to build an intricate understanding of the natural world. Many existing methods tackle this problem by making simplifying assumptions about the environment. One common assumption is that the outcome is deterministic and there is only one plausible future. This can lead to low-quality predictions in real-world settings with stochastic dynamics. In this paper, we develop a stochastic variational video prediction (SV2P) method that predicts a different possible future for each sample of its latent variables. To the best of our knowledge, our model is the first to provide effective stochastic multi-frame prediction for real-world video. We demonstrate the capability of the proposed method in predicting detailed future frames of videos on multiple real-world datasets, both action-free and action-conditioned. We find that our proposed method produces substantially improved video predictions when compared to the same model without stochasticity, and to other stochastic video prediction methods. Our SV2P implementation will be open sourced upon publication.

研究动机与目标

• 解决在现实世界具有随机性的多种可能未来存在的情景中，预测未来帧的挑战。
• 开发一个潜变量模型，使其对潜变量的每个样本生成不同的合理未来。
• 提供一个稳定的训练过程，使在现实世界数据集上实现有效的随机视频预测成为可能。

提出的方法

• 建立一个概率模型 p(x_c:T | x_0:c-1, z)，其中潜变量 z ~ p(z) 用于捕捉随机事件。
• 使用变分后验 q_phi(z | x_0:T) 来近似 p(z|x_0:T) 并优化 ELBO。
• 实现一个神经网络结构，其中推理网络输出 q_phi(z|x_0:T) 的 mu_phi 和 log_sigma_phi。
• 将潜变量 z 集成到基于 CDNA 的生成网络中，以在给定 z（及可选动作）的条件下预测下一帧。
• 端到端分三阶段训练，以促进潜变量的使用和稳定优化（确定性预训练、无约束潜变量、然后 KL 正则化）。
• 探索时不变与时变潜在变量变体，以建模每个视频的单一潜变量 vs. 每帧潜在动态。

实验结果

研究问题

• RQ1 潜变量视频预测模型是否能够为现实世界视频产生多种合理未来，而不仅仅是确定性输出？
• RQ2 在推理网络中对未来帧进行条件化是否能改进对随机事件的有意义潜在表示的学习？
• RQ3 时不变与时变潜在变量形式在跨数据集的泛化性与稳定性方面有何差异？
• RQ4 动作条件对随机视频预测有何影响？

主要发现

• SV2P 在现实世界数据集上产生的多帧预测质量高于确定性基线和非潜变量的随机模型。
• 时变潜在采样在更长的时间区间内比时不变潜在采样产生更稳定的预测。
• 定性结果显示 SV2P 在合理范围内生成连贯且多样的未来，而非模糊的平均值。
• Best-of-N 样本分析表明，更多样本提高高 PSNR 未来的概率，说明该方法能够捕捉多种未来。
• 在带动作条件的情境下，当动作不明确时，SV2P 仍然表现出随机结果，产生比基线更清晰且在语义上更有意义的预测。