[论文解读] Flow-Grounded Spatial-Temporal Video Prediction from Still Images

Yijun Li, Fang Chen+4 more|arXiv (Cornell University)|Jul 25, 2018

Advanced Vision and Imaging参考文献 36被引用 11

一句话总结

该论文提出了一种两阶段视频预测框架，通过首先使用3D条件变分自编码器（3D-cVAE）预测多步光流，然后利用生成模型从这些光流合成像素级帧，从而从单张静态图像生成多帧未来视频。该方法通过建模不确定性并保持真实视频序列的数据流形，实现了在质量、多样性及感知真实感方面的优越性能。

ABSTRACT

Existing video prediction methods mainly rely on observing multiple historical frames or focus on predicting the next one-frame. In this work, we study the problem of generating consecutive multiple future frames by observing one single still image only. We formulate the multi-frame prediction task as a multiple time step flow (multi-flow) prediction phase followed by a flow-to-frame synthesis phase. The multi-flow prediction is modeled in a variational probabilistic manner with spatial-temporal relationships learned through 3D convolutions. The flow-to-frame synthesis is modeled as a generative process in order to keep the predicted results lying closer to the manifold shape of real video sequence. Such a two-phase design prevents the model from directly looking at the high-dimensional pixel space of the frame sequence and is demonstrated to be more effective in predicting better and diverse results. Extensive experimental results on videos with different types of motion show that the proposed algorithm performs favorably against existing methods in terms of quality, diversity and human perceptual evaluation.

研究动机与目标

• 为解决从单张静态图像预测多帧未来视频的挑战，其中缺乏运动线索且不确定性较高。
• 通过使用具有变分推理的3D-cVAE，对未来的运动建模时间与空间依赖性。
• 通过基于预测光流的帧合成，生成真实、多样化且感知上可信的视频序列。
• 提升泛化能力，不仅涵盖人体动作，还包含云彩和流体等动态纹理。
• 证明将光流预测与帧生成分离，可同时提升预测的质量与多样性。

提出的方法

• 使用3D条件变分自编码器（3D-cVAE）在概率潜在空间中建模多步光流预测，通过3D卷积捕捉时空相关性。
• 采用具有3D编码器和解码器的条件VAE，从单张图像推断运动光流，支持随机采样以生成多样化预测。
• 引入一种光流向帧生成模型（Flow2rgb），基于预测光流合成像素级帧，避免依赖光流扭曲，支持新外观的生成。
• 将高维帧预测任务分解为两个阶段：光流预测后接光流基的帧合成，降低分布偏移，提升流形保持能力。
• 使用VGG-19特征和t-SNE可视化与评估生成序列的分布，确认其多样性和真实性。
• 采用感知度量和人工评估与基线方法对比，通过从N(0,1)采样的噪声输入评估不确定性建模性能。

实验结果

研究问题

• RQ1 基于单张图像的视频预测模型能否通过建模运动中的不确定性，生成多样化且逼真的未来帧序列？
• RQ2 将光流预测与帧生成分离，是否能提升生成视频序列的质量与多样性？
• RQ3 所提方法在人体等关节运动与云彩等动态纹理上的泛化能力如何？
• RQ4 与随机或确定性基线相比，该模型在多大程度上保持了真实视频序列的数据流形？
• RQ5 在随机采样下，该模型在感知质量与多样性方面与先前工作相比表现如何？

主要发现

• 所提方法在定量指标与人工评估中均证实，相比先前方法，能生成更丰富多样且感知更真实的未来视频序列。
• 在随机采样下，模型预测表现出更高多样性，生成序列在特征空间中（t-SNE）分布更广，且更接近真实值，优于基线。
• 感知相似度得分显示，该方法在所有时间步均保持与真实值更高的相似度，即使在多样化噪声输入下亦然。
• 光流向帧生成模型（Flow2rgb）成功通过想象新外观和处理遮挡，合成逼真帧，避免了直接光流扭曲导致的失败。
• 两阶段设计——先光流预测，再光流基帧合成——可防止模型偏离到不真实的视频流形，从而提升整体保真度。
• 该方法在感知质量与多样性方面均优于[8]，其感知度量偏差更低，且在特征空间中预测分布更广。