[论文解读] Frame Interpolation with Multi-Scale Deep Loss Functions and Generative Adversarial Networks

Joost R. van Amersfoort, Wenzhe Shi+5 more|arXiv (Cornell University)|Nov 16, 2017

Advanced Vision and Imaging参考文献 31被引用 35

一句话总结

该论文提出 FIGAN，一种基于多尺度残差估计和结合对抗性、内容及基于光流监督的感知损失的实时帧插值网络。其在保持 SOTA 的 PSNR 和视觉质量的同时，推理速度比最近似竞争对手快 47 倍，展示了在合成视频帧生成中卓越的效率与真实感。

ABSTRACT

Frame interpolation attempts to synthesise frames given one or more consecutive video frames. In recent years, deep learning approaches, and notably convolutional neural networks, have succeeded at tackling low- and high-level computer vision problems including frame interpolation. These techniques often tackle two problems, namely algorithm efficiency and reconstruction quality. In this paper, we present a multi-scale generative adversarial network for frame interpolation (\mbox{FIGAN}). To maximise the efficiency of our network, we propose a novel multi-scale residual estimation module where the predicted flow and synthesised frame are constructed in a coarse-to-fine fashion. To improve the quality of synthesised intermediate video frames, our network is jointly supervised at different levels with a perceptual loss function that consists of an adversarial and two content losses. We evaluate the proposed approach using a collection of 60fps videos from YouTube-8m. Our results improve the state-of-the-art accuracy and provide subjective visual quality comparable to the best performing interpolation method at x47 faster runtime.

研究动机与目标

• 开发一种实时帧插值方法，平衡高重建质量与计算效率。
• 通过结合自粗到精的光流优化与空间变换网络，解决光流估计的局限性。
• 通过用多尺度感知损失替代标准像素级损失，结合对抗性与内容监督，提升视觉真实感。
• 在不牺牲 PSNR 或感知质量的前提下，降低模型复杂度与推理成本。
• 在定量指标与主观视觉质量方面均达到 SOTA 性能。

提出的方法

• 提出一种多尺度残差估计模块，以自粗到精的方式构建光流与帧预测，降低计算成本。
• 采用生成对抗网络（GAN），其判别器通过真实帧与生成帧的对比训练，提升感知真实感。
• 使用结合 VGG 特征重建与对抗性损失的多尺度感知损失，增强结构与纹理保真度。
• 集成空间变换网络，实现可微图像变形，支持光流与帧合成流水线的端到端训练。
• 应用复合损失函数，结合 L1、感知与对抗性损失，在网络多个深度层级引导训练。
• 在 YouTube-8M 60fps 视频上进行训练，采用多尺度监督策略，提升跨分辨率的特征一致性。

实验结果

研究问题

• RQ1 自粗到精的多尺度架构是否能在不损失准确性的前提下提升帧插值效率？
• RQ2 结合对抗性训练与多尺度感知损失是否能生成更具视觉真实感的插值帧？
• RQ3 所提方法在 PSNR、推理速度与视觉质量方面与 SOTA 方法相比如何？
• RQ4 降低模型复杂度与 FLOPs 对帧插值性能的影响有多大？
• RQ5 基于 GAN 的方法结合感知监督是否能在定量与定性指标上均优于传统的 L1 损失？

主要发现

• FIGAN 在完整测试集上达到 37.23 的 PSNR，较此前 SOTA（MS with VGG）提升 0.26 dB。
• 模型每帧 360×640 的推理时间为 0.015 秒，相比最近似竞争对手提速 47 倍。
• 视觉质量与最佳性能方法（SepConv-ℒF）相当，但每轮推理的 FLOPs 减少 3.24 倍。
• FIGAN 在 PSNR 与视觉一致性方面均优于基于光流的基线方法（如 Farneback、PCA-layers），尤其在处理运动与遮挡时表现更优。
• 在复杂运动场景（如快速移动与静态物体重叠）中，该模型比竞争方法更好地保持锐度与细节结构。
• 结合对抗性训练的多尺度感知损失可生成更自然的纹理，减少模糊，相比仅使用 L1 或标准感知损失更优。