[论文解读] Optimizing Video Prediction via Video Frame Interpolation

Yue Wu, Qiang Wen+1 more|arXiv (Cornell University)|Jun 27, 2022

Advanced Image Processing Techniques被引用 5

一句话总结

本文提出了一种基于优化的新型视频预测框架，利用预训练的可微分视频帧插值（VFI）模型进行未来帧预测，无需外部训练或额外标注。通过将视频预测建模为基于VFI作为可微约束的光流优化问题，该方法在Cityscapes、KITTI、DAVIS和Vimeo90K等多样化数据集上实现了最先进性能，优于需要大规模训练数据或语义先验的基于学习的方法。

ABSTRACT

Video prediction is an extrapolation task that predicts future frames given past frames, and video frame interpolation is an interpolation task that estimates intermediate frames between two frames. We have witnessed the tremendous advancement of video frame interpolation, but the general video prediction in the wild is still an open question. Inspired by the photo-realistic results of video frame interpolation, we present a new optimization framework for video prediction via video frame interpolation, in which we solve an extrapolation problem based on an interpolation model. Our video prediction framework is based on optimization with a pretrained differentiable video frame interpolation module without the need for a training dataset, and thus there is no domain gap issue between training and test data. Also, our approach does not need any additional information such as semantic or instance maps, which makes our framework applicable to any video. Extensive experiments on the Cityscapes, KITTI, DAVIS, Middlebury, and Vimeo90K datasets show that our video prediction results are robust in general scenarios, and our approach outperforms other video prediction methods that require a large amount of training data or extra semantic information.

研究动机与目标

• 解决现有视频预测方法依赖大规模训练数据或场景特定假设所导致的领域差距和泛化限制问题。
• 开发一种无需外部训练的视频预测框架，消除训练与测试数据之间的领域偏移问题。
• 在任何场景下实现视频预测——包括驾驶、人体运动、动画和自然场景——而无需依赖语义、实例或深度图。
• 仅使用RGB输入帧和可微分VFI模块，实现高质量、照片级真实的视频预测。
• 在不施加架构或分布约束的前提下，展示在多样化视频数据集上的鲁棒性和泛化能力。

提出的方法

• 该方法将视频预测建模为基于光流的优化问题，使用预训练的可微分VFI模型（RIFE）作为可微约束。
• 通过最小化图像级重建损失（$\mathcal{L}_{img}$）和预测光流与VFI生成光流之间的一致性损失（$\mathcal{L}_{cons}$），对光流进行优化。
• 优化过程从先前帧的光流（$f_{t\rightarrow t-1}$）初始化，从而提升收敛速度和性能。
• 引入光流修补模块以校正无效或稀疏的光流值，提升物体边界和运动区域的预测质量。
• 该框架仅以RGB帧作为输入，无需任何额外监督（如语义或深度图）。
• 该方法端到端可微，支持通过VFI网络的反向传播对未来的帧预测进行梯度优化。

Figure 2 : Overview of our method. We optimize optical flow $\tilde{f}_{t+1\rightarrow t}$ by a video frame interpolation $G$ [ 11 ] . Our optimization objective is image-level distance $\mathcal{L}_{img}$ and a consistency constraint between our predicted flow $\tilde{f}_{t+1\rightarrow t}$ and the

实验结果

研究问题

• RQ1 是否可以有效将视频预测重新表述为使用预训练VFI模型的优化问题，而无需任何额外的训练数据或标注？
• RQ2 与依赖大规模数据集和辅助监督的最先进基于学习的模型相比，基于优化的视频预测方法性能如何？
• RQ3 VFI模型在多大程度上可作为强归纳偏置，以提升视频预测的泛化能力并减少领域偏移？
• RQ4 图像级损失、一致性损失和长期约束等不同损失组件对预测质量和优化稳定性有何影响？
• RQ5 初始化方式和光流修补对预测帧的收敛性和视觉保真度有何影响？

主要发现

• 所提方法在多个基准数据集（包括Cityscapes、KITTI、DAVIS、Middlebury和Vimeo90K）上实现了最先进性能，优于需要大量训练数据或语义标注的方法。
• 在Cityscapes数据集上，使用RIFE作为VFI主干网络时，该方法在下一帧预测中达到0.9454的MS-SSIM，显著优于基线方法。
• 即使在复杂运动场景（如人体运动和动态场景）中，该方法仍能生成高保真度预测，细节清晰，如发丝和物体边界。
• 消融实验表明，$\mathcal{L}_{img}$与$\mathcal{L}_{cons}$损失的组合效果最佳，且$\mathcal{L}_{img}$提供的监督强于$\mathcal{L}_{interp}$。
• 优化在前400次迭代内快速收敛，并持续逐步提升，3000次迭代后性能仍持续增强，表明具有稳定且渐进的优化过程。
• 该方法在YouTube真实视频以及BAIR Pushing和Penn Action等多样化数据集上表现出良好的泛化能力，无需微调即可跨领域稳定运行。

Figure 3 : Multi-frame prediction comparison on KITTI. As the pink boxes show, DVF [ 20 ] fails to separate the motion of the blue car from the background and produces a “zooming-in” effect, which is the major motion exhibited in the dataset, caused by the forward movement of the running car. FVS [