[论文解读] Stochastic Adversarial Video Prediction

Alex X. Lee, Richard Zhang+4 more|arXiv (Cornell University)|Apr 4, 2018

Adversarial Robustness in Machine Learning参考文献 49被引用 226

一句话总结

论文提出SAVP，一种将基于VAE的潜变量与基于GAN的对抗训练相结合的随机视频预测模型，能够产生多样且真实的未来视频帧，在真实感和多样性方面超越了现有方法。

ABSTRACT

Being able to predict what may happen in the future requires an in-depth understanding of the physical and causal rules that govern the world. A model that is able to do so has a number of appealing applications, from robotic planning to representation learning. However, learning to predict raw future observations, such as frames in a video, is exceedingly challenging -- the ambiguous nature of the problem can cause a naively designed model to average together possible futures into a single, blurry prediction. Recently, this has been addressed by two distinct approaches: (a) latent variational variable models that explicitly model underlying stochasticity and (b) adversarially-trained models that aim to produce naturalistic images. However, a standard latent variable model can struggle to produce realistic results, and a standard adversarially-trained model underutilizes latent variables and fails to produce diverse predictions. We show that these distinct methods are in fact complementary. Combining the two produces predictions that look more realistic to human raters and better cover the range of possible futures. Our method outperforms prior and concurrent work in these aspects.

研究动机与目标

• 通过对随机性建模来处理未来视频预测的多模态特性。
• 将潜变量建模与对抗训练结合，以提高真实感和多样性。
• 评估VAE和GAN组件在随机视频预测中的互补作用。
• 在真实感、多样性和准确性方面，将SAVP与先前的基于VAE和基于GAN的方法进行比较。
• 提出包含人类评判和感知多样性指标的评估策略。

提出的方法

• 我们使用一个递归生成器来预测未来帧，该生成器接收初始帧和随时间变化的潜在编码。
• 训练将变分下界目标与对抗损失相结合（VAE-GAN 框架）。
• 潜在编码通过编码器推断形成后验分布，并朝向标准高斯先验进行正则化。
• 一个独立的视频判别器（以及一个VAE特定判别器）通过匹配联合视频分布来引导真实感。
• 生成器是一个带跳跃连接的卷积LSTM，沿通道维对潜在编码进行条件化。
• 评估同时使用定性和定量指标，包括人类判断和感知多样性度量。

实验结果

研究问题

• RQ1 一个VAE-GAN结构是否能够产生既多样又真实的随机视频预测？
• RQ2 在视频预测中，将潜变量建模与对抗训练相结合，是否优于单纯的VAE或单纯的GAN方法？
• RQ3 在真实世界数据集上，SAVP变体的真实感、多样性和准确性如何权衡？
• RQ4 哪些评估策略最能反映人类对视频真实感和预测多样性的判断？

主要发现

• SAVP模型在真实感方面优于先前的基于VAE的方法，在多样性方面优于基于GAN的方法。
• 基于VAE的变体产生更高的多样性，而基于GAN的变体提供更高的真实感；SAVP在两者之间取得平衡。
• 标准像素级指标（PSNR/SSIM）可能与人类判断不一致，因此使用了人类2AFC测试。
• 通过基于VGG的感知距离来衡量多样性，结果显示SAVP能维持多样的未来。
• 在BAIR和KTH数据集上，SAVP在人工评估中的真实感高于先前的方法。
• 消融实验显示VAE和GAN组件的双向必要性，方能达到最佳整体性能。