[论文解读] IFRNet: Intermediate Feature Refine Network for Efficient Frame Interpolation

Lingtong Kong, Boyuan Jiang+6 more|arXiv (Cornell University)|May 29, 2022

Advanced Vision and Imaging被引用 6

一句话总结

IFRNet 提出了一种轻量级、单编码器-解码器架构，通过联合优化中间光流和中间特征，实现高效视频帧插值，在保持极低参数量的同时达到最先进精度，并具备快速推理速度。通过在统一网络中整合光流与特征优化，并引入面向任务的光流蒸馏与几何一致性正则化，IFRNet 在速度、精度与模型紧凑性方面均优于先前方法。

ABSTRACT

Prevailing video frame interpolation algorithms, that generate the intermediate frames from consecutive inputs, typically rely on complex model architectures with heavy parameters or large delay, hindering them from diverse real-time applications. In this work, we devise an efficient encoder-decoder based network, termed IFRNet, for fast intermediate frame synthesizing. It first extracts pyramid features from given inputs, and then refines the bilateral intermediate flow fields together with a powerful intermediate feature until generating the desired output. The gradually refined intermediate feature can not only facilitate intermediate flow estimation, but also compensate for contextual details, making IFRNet do not need additional synthesis or refinement module. To fully release its potential, we further propose a novel task-oriented optical flow distillation loss to focus on learning the useful teacher knowledge towards frame synthesizing. Meanwhile, a new geometry consistency regularization term is imposed on the gradually refined intermediate features to keep better structure layout. Experiments on various benchmarks demonstrate the excellent performance and fast inference speed of proposed approaches. Code is available at https://github.com/ltkong218/IFRNet.

研究动机与目标

• 为解决现有基于光流的视频帧插值方法因采用级联架构并分离光流与合成网络而导致的效率低下与高延迟问题。
• 在保持或提升复杂动态场景下插值精度的同时，降低模型复杂度与推理延迟。
• 通过在单一网络内实现中间光流与特征优化的相互增强，消除对额外合成或优化模块的需求。
• 通过针对运动估计与中间特征结构一致性设计的新型损失函数，提升监督效果。

提出的方法

• 提出一种统一的编码器-解码器架构，联合优化双向中间光流场与中间特征，替代级联的光流与合成网络。
• 从输入帧中提取多尺度特征，并在解码器中实现从粗到细的光流与特征表示优化。
• 引入面向任务的光流蒸馏损失，自适应聚焦教师模型中的有用知识，提升鲁棒性与运动估计精度。
• 应用几何一致性正则化损失，利用真实特征约束重建的中间特征，以保持结构布局。
• 采用多尺度变形机制与可学习融合掩码，组合变形的输入帧，随后通过残差优化头恢复缺失细节。
• 复用共享的编码器-解码器组件以同时完成光流、特征与掩码预测，提升参数效率与推理速度。

实验结果

研究问题

• RQ1 在单一网络中联合优化中间光流与中间特征，是否能优于级联的光流与合成流水线？
• RQ2 如何在不依赖大规模数据增强的前提下，改进中间光流估计的监督效果？
• RQ3 几何一致性正则化在多大程度上能提升插值帧的结构保真度？
• RQ4 轻量级单编码器-解码器架构是否能在精度与推理速度两方面超越复杂的多分支模型？

主要发现

• IFRNet 在 Vimeo90K 基准上达到最先进性能，在插值误差（IE）与归一化插值误差（NIE）指标上均优于先前最先进方法。
• 大型 IFRNet 模型的推理速度比 RIFE 和 DAIN 等先前最先进算法快数倍，展现出卓越的推理速度。
• 所提出的面向任务的光流蒸馏损失显著提升了光流估计的鲁棒性，尤其在大运动或遮挡区域，视觉分析显示光流掩码质量更优。
• 几何一致性正则化显著改善了结构布局的保持能力，通过均值特征图对比可见其与真实值对齐更佳。
• IFRNet 以极少的参数量与极低的推理延迟实现高质量结果，适用于实时与移动应用场景。
• 视觉对比显示，IFRNet 在运动模糊与遮挡等复杂场景下，相比基线方法生成更清晰的运动边界与更优的纹理细节。