[论文解读] Boost Video Frame Interpolation via Motion Adaptation

Haoning Wu, Xiaoyun Zhang+3 more|arXiv (Cornell University)|Jun 24, 2023

Advanced Vision and Imaging被引用 4

一句话总结

本文提出了一种测试时运动自适应策略，称为循环一致性自适应（cycle-consistency adaptation），通过在未见测试视频上优化运动估计来提升视频帧插值（VFI）性能。通过将轻量级适配器注入预训练的VFI模型，实现了仅需不到4%额外参数的高效、实时优化，显著提升了泛化能力，并超越了当前最先进方法——即使这些方法使用了额外的输入帧。

ABSTRACT

Video frame interpolation (VFI) is a challenging task that aims to generate intermediate frames between two consecutive frames in a video. Existing learning-based VFI methods have achieved great success, but they still suffer from limited generalization ability due to the limited motion distribution of training datasets. In this paper, we propose a novel optimization-based VFI method that can adapt to unseen motions at test time. Our method is based on a cycle-consistency adaptation strategy that leverages the motion characteristics among video frames. We also introduce a lightweight adapter that can be inserted into the motion estimation module of existing pre-trained VFI models to improve the efficiency of adaptation. Extensive experiments on various benchmarks demonstrate that our method can boost the performance of two-frame VFI models, outperforming the existing state-of-the-art methods, even those that use extra input.

研究动机与目标

• 解决基于学习的VFI模型因训练数据中存在领域差异而导致泛化能力有限的问题。
• 提升VFI模型在具有复杂或大范围运动的未见视频上的性能。
• 实现在无需重新训练整个模型的前提下，高效地进行测试时自适应。
• 设计一种即插即用的适配器，以极低的参数开销增强运动估计能力。
• 超越现有SOTA方法，包括使用额外输入帧的方法。

提出的方法

• 提出一种循环一致性自适应策略，利用三元组视频序列（如帧t-1、t、t+1）中的帧间一致性，在推理阶段优化运动估计。
• 采用循环一致性损失，确保帧间运动场具有一致性和可逆性，从而提升运动场的准确性。
• 引入一种轻量级、即插即用的适配器模块，可插入到现有预训练VFI模型的运动估计头中。
• 该适配器在测试时自适应过程中仅微调模型参数的一小部分（<4%），显著降低计算成本。
• 在测试序列上进行端到端优化，使运动场能够适配每段视频特有的运动特性。
• 通过可视化自适应前后运动场，定性验证了其平滑性与边缘精度的提升。

实验结果

研究问题

• RQ1 测试时运动自适应能否提升VFI模型在未见视频分布上的泛化能力？
• RQ2 基于循环一致性的自适应在优化复杂或大范围运动的运动场方面有多有效？
• RQ3 轻量级适配器能否在大幅降低推理成本的同时实现与完整微调相当的性能？
• RQ4 所提方法是否能在所有评估基准上超越SOTA VFI模型，包括使用额外输入帧的方法？
• RQ5 该适配器能否在不修改网络架构的前提下，有效应用于多种预训练VFI模型架构？

主要发现

• 循环一致性自适应在多个基准上持续提升了PSNR和SSIM，尤其在Vimeo90K数据集上，PSNR最高提升1.2 dB，SSIM最高提升0.012。
• 即插即用的适配器将自适应所需的可训练参数数量减少至原始模型的4%以下，实现了高效的测试时调优。
• 与端到端微调相比，使用即插即用适配器的自适应过程实现2倍的速度提升，同时保持相似的性能水平。
• 在DAVIS数据集上，该方法减少了视觉失真，提升了插值帧的结构清晰度，尤其在大范围或复杂运动场景下表现更优。
• 所提方法在所有评估基准上均超越了当前最先进VFI模型，包括使用额外输入帧的方法。
• 运动场可视化结果表明，经自适应后的模型生成了更平滑、更精确的运动场，边缘更清晰，从而实现了更高品质的帧生成。