[论文解读] SimVP: Simpler yet Better Video Prediction

Zhangyang Gao, Cheng Tan+2 more|arXiv (Cornell University)|Jun 9, 2022

Human Pose and Action Recognition被引用 5

一句话总结

SimVP 提出了一种仅基于卷积神经网络（CNN）的简单但最先进的视频预测模型，采用均方误差（MSE）损失进行端到端训练。无需辅助模块、对抗性训练或复杂架构，SimVP 在五个基准数据集上实现了最先进（SOTA）性能，展示了在短时和长时预测任务中卓越的泛化能力、可扩展性和效率。

ABSTRACT

From CNN, RNN, to ViT, we have witnessed remarkable advancements in video prediction, incorporating auxiliary inputs, elaborate neural architectures, and sophisticated training strategies. We admire these progresses but are confused about the necessity: is there a simple method that can perform comparably well? This paper proposes SimVP, a simple video prediction model that is completely built upon CNN and trained by MSE loss in an end-to-end fashion. Without introducing any additional tricks and complicated strategies, we can achieve state-of-the-art performance on five benchmark datasets. Through extended experiments, we demonstrate that SimVP has strong generalization and extensibility on real-world datasets. The significant reduction of training cost makes it easier to scale to complex scenarios. We believe SimVP can serve as a solid baseline to stimulate the further development of video prediction. The code is available at \href{https://github.com/gaozhangyang/SimVP-Simpler-yet-Better-Video-Prediction}{Github}.

研究动机与目标

• 探究仅使用简单纯CNN模型是否能在无需复杂架构或训练技巧的情况下实现视频预测的最先进性能。
• 为未来视频预测研究建立一个强大、易于理解且可扩展的基线模型。
• 评估极简设计在长时预测和真实世界视频预测场景中的有效性和泛化能力。
• 理解模型中各组件（编码器、转换器、解码器）对性能的贡献。

提出的方法

• 模型架构遵循 CNN-CNN-CNN 框架，由编码器、时间转换器和解码器组成，全部基于标准卷积块构建。
• 编码器使用 $N_s$ 个 ConvNormReLU 块，从输入帧中提取空间特征。
• 转换器采用 $N_t$ 个类似 Inception 的模块，对 $T$ 帧的时间演化进行建模，处理空间维度为 $(H,W)$ 的 $T \times C$ 通道。
• 解码器使用 $N_s$ 个 unConvNormReLU 块，从潜在特征重建未来帧。
• 整个模型仅使用 MSE 损失进行端到端训练，不采用对抗性训练、蒸馏或光流监督。
• 消融研究分析了组归一化、组卷积、跳跃连接和卷积核大小等架构组件的影响。

实验结果

研究问题

• RQ1 仅使用 MSE 损失训练的简单 CNN 模型是否能在视频预测中超越复杂架构？
• RQ2 编码器、转换器和解码器对模型性能的相对贡献是什么？
• RQ3 卷积核大小、组归一化和跳跃连接等架构选择如何影响性能和泛化能力？
• RQ4 SimVP 在长时预测和真实世界数据集上是否具有良好的泛化能力？

主要发现

• SimVP 在五个基准数据集（包括 KTH、Moving MNIST、TrafficBJ、Human3.6M 和 KTH）上实现了最先进性能，PSNR 和 SSIM 指标均有显著提升。
• 在 KTH 数据集上，SimVP 在 10→20 帧预测任务中达到 33.72 dB 的 PSNR 和 0.905 的 SSIM，相比之前最先进方法在 PSNR 上提升了 11.8%。
• 在 KTH 数据集上进行 10→40 帧预测时，SimVP 达到 32.93 dB 的 PSNR 和 0.886 的 SSIM，表明在长序列中性能下降极小。
• 消融研究显示，组卷积是影响最大的架构组件，其次是组归一化和跳跃连接。
• 转换器主要负责预测物体位置和内容，解码器通过优化前景形状提升质量，编码器则通过跳跃连接减少背景误差。
• SimVP 显著降低了训练成本，同时保持高性能，因此具有高度可扩展性，适合作为强大的基线模型。