[论文解读] FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation

Tarun Kalluri, Deepak Pathak+2 more|arXiv (Cornell University)|Dec 15, 2020

Advanced Vision and Imaging参考文献 78被引用 45

一句话总结

FLAVR 提供一个无光流的、端到端可训练的3D CNN，在单次前向传播中完成多帧视频插值，在与基于光流的方法相比显著加速的同时实现业界领先的质量，并为下游任务提供有用的自监督表示。

ABSTRACT

A majority of methods for video frame interpolation compute bidirectional optical flow between adjacent frames of a video, followed by a suitable warping algorithm to generate the output frames. However, approaches relying on optical flow often fail to model occlusions and complex non-linear motions directly from the video and introduce additional bottlenecks unsuitable for widespread deployment. We address these limitations with FLAVR, a flexible and efficient architecture that uses 3D space-time convolutions to enable end-to-end learning and inference for video frame interpolation. Our method efficiently learns to reason about non-linear motions, complex occlusions and temporal abstractions, resulting in improved performance on video interpolation, while requiring no additional inputs in the form of optical flow or depth maps. Due to its simplicity, FLAVR can deliver 3x faster inference speed compared to the current most accurate method on multi-frame interpolation without losing interpolation accuracy. In addition, we evaluate FLAVR on a wide range of challenging settings and consistently demonstrate superior qualitative and quantitative results compared with prior methods on various popular benchmarks including Vimeo-90K, UCF101, DAVIS, Adobe, and GoPro. Finally, we demonstrate that FLAVR for video frame interpolation can serve as a useful self-supervised pretext task for action recognition, optical flow estimation, and motion magnification.

研究动机与目标

• 推动在不使用显式光流或深度信号的情况下实现快速、鲁棒的多帧视频插值。
• 开发一个无流感知的端到端可训练的3D CNN 架构，用于单次推断的多帧插值。
• 实现比现有方法更高的准确性及显著提升的推理速度。
• 探索 FLAVR 表征在下游任务（如动作识别和光流估计）上的自监督潜力。

提出的方法

• 提出一个 3D U-Net 风格的架构（FLAVR），使用3D卷积来建模时空动态。
• 在无标签的视频上训练，通过使用上下文窗口采样输入片段（2C帧）并在一个前向传播中预测k-1个中间帧。
• 引入一个时间融合步骤，将时间特征汇聚成一个二维空间预测图。
• 在每一层之后应用时空特征门控，以突出运动相关信息。
• 使用L1像素损失端到端训练网络以获取所有k-1中间帧。
• 评估包括 R3D-18 和分组卷积在内的骨干网络，以平衡精度与速度。
• 包含一种采样策略，使插值因子 k 和上下文窗口大小 C 灵活可调。

Figure 1 : Our contributions We propose FLAVR, a simple and efficient architecture for single shot multi-frame interpolation. The plot of accuracy (PSNR) vs. inference speed (fps) of FLAVR compared with current methods on GoPro 8x interpolation with 512 $\times$ 512 input images. FLAVR is 6 x faster

实验结果

研究问题

• RQ1 无光流的网络能否在单次前向传播中预测多个中间帧（k>2），且质量具备竞争力？
• RQ2 就PSNR/SSIM和速度在标准基准（Vimeo-90K、UCF101、DAVIS、GoPro、Adobe）上，FLAVR 与基于光流的方法及其他前沿帧插值方法相比如何？
• RQ3 架构选择（3D CNN主干、时间步长、通道门控、融合策略）对插值质量和运行时的影响？
• RQ4 通过帧插值学习到的 FLAVR 表征是否有益地迁移到下游任务，如动作识别和光流估计？

主要发现

• FLAVR 在标准基准上取得强插值质量，在 Vimeo-90K 和 GoPro 的2x插值下，与仅RGB以及基于光流+深度的基线相比，PSNR/SSIM 具有竞争力。
• 对于8x插值，FLAVR 在 GoPro 上达到31.31 PSNR和0.94 SSIM，并且优于许多仅使用RGB输入的先前方法。
• FLAVR 提供显著的加速，与当前最准确方法（QVI）相比快6倍，与最快方法（SuperSloMo）快约2倍，同时保持或提升质量。
• 在帧插值上的自监督预训练可提升下游任务的表现，如动作识别（UCF101、HMDB51）和光流估计（MPI-Sintel、KITTI）。
• 消融研究表明，保留时间分辨率（无时间步长）并使用时空3D卷积可提升清晰度和PSNR；门控有助于增强在运动边界上的特征。

(a) Overview of the proposed architecture