[论文解读] Deep multi-scale video prediction beyond mean square error

Michaël Mathieu, Camille Couprie+1 more|arXiv (Cornell University)|Nov 17, 2015

Advanced Image Processing Techniques参考文献 23被引用 369

一句话总结

该论文提出了一种深度多尺度视频预测模型，通过引入对抗性训练、梯度差异损失（GDL）和多尺度架构，改进了基于均方误差（MSE）损失的方法。对抗性训练与GDL的结合使预测结果比基于MSE的模型更加清晰、逼真，在UCF101和Sports1m数据集上的PSNR、SSIM和清晰度指标上显著优于先前工作。

ABSTRACT

Learning to predict future images from a video sequence involves the construction of an internal representation that models the image evolution accurately, and therefore, to some degree, its content and dynamics. This is why pixel-space video prediction may be viewed as a promising avenue for unsupervised feature learning. In addition, while optical flow has been a very studied problem in computer vision for a long time, future frame prediction is rarely approached. Still, many vision applications could benefit from the knowledge of the next frames of videos, that does not require the complexity of tracking every pixel trajectories. In this work, we train a convolutional network to generate future frames given an input sequence. To deal with the inherently blurry predictions obtained from the standard Mean Squared Error (MSE) loss function, we propose three different and complementary feature learning strategies: a multi-scale architecture, an adversarial training method, and an image gradient difference loss function. We compare our predictions to different published results based on recurrent neural networks on the UCF101 dataset

研究动机与目标

• 解决使用均方误差（MSE）损失训练的视频预测模型固有的模糊问题。
• 通过用其他损失函数替代或补充MSE损失，提升未来帧预测的视觉质量。
• 评估多尺度架构、对抗性训练和梯度差异损失（GDL）在提升预测逼真度与清晰度方面的有效性。
• 证明性能更优的视频预测模型可作为强大的无监督特征学习器，用于动作识别等下游任务。
• 在UCF101和Sports1m数据集上，建立所提方法与先前最先进模型的基准比较。

提出的方法

• 提出一种多尺度卷积网络架构，在保留空间分辨率的同时，通过跳跃连接和多感受野聚合来建模长距离依赖关系。
• 引入梯度差异损失（GDL），通过惩罚预测帧与真实帧之间图像梯度的差异，提升边缘和纹理保真度。
• 采用判别器网络实施对抗性训练，以区分真实帧与生成帧，促使生成器输出逼真图像。
• 将对抗性训练与GDL及多尺度监督相结合，联合优化感知质量和结构准确性。
• 使用结合L1范数、GDL和对抗性损失的混合损失函数训练生成器，同时避免使用池化操作以保持分辨率。
• 采用递归帧预测机制：先预测一帧，再将其作为输入预测下一帧，从而实现多帧生成。

实验结果

研究问题

• RQ1 能否通过用L1、GDL或对抗性训练等替代损失函数来减少基于MSE损失的视频预测模型中的模糊现象？
• RQ2 多尺度架构在视频生成中如何有助于保留空间细节并提升预测质量？
• RQ3 与单独使用各组件相比，将对抗性训练与梯度差异损失结合在多大程度上能提升感知质量和清晰度？
• RQ4 在标准基准上，所提方法与Srivastava等人（2015）和Ranzato等人（2014）的最先进模型相比，在定量和定性上表现如何？
• RQ5 所学习的视频预测模型能否作为动作识别任务中的强大无监督特征学习器？

主要发现

• 对抗性训练与梯度差异损失（Adv+GDL）组合在UCF101数据集上取得了最高的PSNR（26.7）、SSIM（0.89）和清晰度差异得分，优于所有其他损失配置。
• 使用MSE损失训练的模型结果最模糊，尽管PSNR基于相同的L2度量，其在UCF101数据集上的PSNR最低（16.3），SSIM最低（0.70）。
• Ranzato等人（2014）的方法（使用光流和块聚类）在移动区域表现出明显模糊和失真，其在滑冰舞蹈片段上的PSNR为20.1，SSIM为0.72。
• 视觉检查显示，Ranzato等人预测结果存在轮廓失真和特征弯曲现象，而所提的Adv+GDL模型则保留了精细细节和运动连贯性。
• 所提模型的清晰度得分高于Ranzato等人和基于MSE的模型，证实GDL能有效保留边缘和纹理。
• 仅使用对抗性损失即可提升感知质量，但与GDL结合后，生成结果在视觉真实感和结构准确性上达到最优。