[论文解读] Stochastic Video Generation with a Learned Prior

Emily Denton, Rob Fergus|arXiv (Cornell University)|Feb 21, 2018

Generative Adversarial Networks and Image Synthesis被引用 304

一句话总结

本文提出 SVG-LP，一种带有时变学习先验的随机视频生成模型，与确定性帧预测器结合，能够生成清晰、变化多样的未来帧并捕捉视频动态中的不确定性。

ABSTRACT

Generating video frames that accurately predict future world states is challenging. Existing approaches either fail to capture the full distribution of outcomes, or yield blurry generations, or both. In this paper we introduce an unsupervised video generation model that learns a prior model of uncertainty in a given environment. Video frames are generated by drawing samples from this prior and combining them with a deterministic estimate of the future frame. The approach is simple and easily trained end-to-end on a variety of datasets. Sample generations are both varied and sharp, even many frames into the future, and compare favorably to those from existing approaches.

研究动机与目标

• 激励在固有世界不确定性下预测未来视频帧的挑战。
• 提出一个将确定性预测与随机潜在变量分离的随机视频生成模型。
• 引入一个随时间变化的学习先验，用于在关键时刻建模不确定性（例如碰撞）。
• 使得能够通过递归推断网络进行端到端训练，以估计潜在分布。
• 在真实世界和合成数据集上评估该方法，展示出清晰且多样的生成。

提出的方法

• 将确定性帧预测器 p_theta 与时间相关的潜在变量 z_t 结合。
• 使用带有 KL 项的变分下界，其中 q_phi(z_t|x_1:t) 与先验 p(z) 或 p_psi(z_t|x_1:t-1)之间的关系。
• 提供两个变体：SVG-FP 使用固定先验 p(z)=N(0,I)，SVG-LP 使用学习的时变先验 p_psi(z_t|x_1:t-1)。
• 使用推断网络 q_phi(z_t|x_1:t) 来近似后验，并使用重参数化进行采样。
• 在 SVG-LP 中，先验网络以过去帧为条件来预测下一步的潜在分布，从而实现更清晰的长程生成。

实验结果

研究问题

• RQ1 使用在每个时间步使用潜在变量的随机视频生成模型，是否能比纯确定性模型更好地捕捉未来帧的分布？
• RQ2 学习时变先验是否提高样本的清晰度和真实感，特别是在像碰撞这样的固有不确定事件周围？
• RQ3 使用递归推断网络的端到端训练在训练稳定性和生成质量方面与现有工作相比如何？
• RQ4 在真实和合成数据集上，SVG-FP 与 SVG-LP 的比较优势有哪些？
• RQ5 模型是否能够在不使用对抗训练的情况下生成多样的未来？

主要发现

• 在各数据集上，SVG-FP 和 SVG-LP 相比确定基线，生成更清晰、更多样的未来帧。
• 由于在学习的先验中专门处理不确定性，SVG-LP 往往比 SVG-FP 在长程生成上更清晰、更准确。
• 在随机移动的 MNIST 上，SVG-LP 捕捉未来分布，且经过多步后仍然清晰。
• 在 BAIR 机器人数据上，SVG-FP 和 SVG-LP 在 SSIM 上优于先前的最先进方法，并在 PSNR 上具有竞争力，SVG-LP 提供更清晰的帧。
• 定性结果显示多样化的合理未来和准确的运动，特别是在像碰撞这样的不确定事件附近。