[论文解读] RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation.

Zhewei Huang, Tianyuan Zhang+3 more|arXiv (Cornell University)|Nov 12, 2020

Advanced Vision and Imaging参考文献 46被引用 53

一句话总结

RIFE 提出了一种实时中间光流估计网络（IFNet），该网络直接从粗到细地预测中间光流，绕过双向光流平均以减少运动边界伪影。通过使用泄漏蒸馏进行端到端训练，RIFE 在视频帧插值任务中实现了最先进性能，且推理速度显著快于以往基于光流的方法。

ABSTRACT

We propose a real-time intermediate flow estimation algorithm (RIFE) for video frame interpolation (VFI). Most existing methods first estimate the bi-directional optical flows, and then linearly combine them to approximate intermediate flows, leading to artifacts around motion boundaries. We design an intermediate flow model named IFNet that can directly estimate the intermediate flows from coarse to fine. We then warp the input frames according to the estimated intermediate flows and employ a fusion process to compute final results. Based on our proposed leakage distillation, RIFE can be trained end-to-end and achieve excellent performance. Experiments demonstrate that RIFE is significantly faster than existing flow-based VFI methods and achieves state-of-the-art index on several benchmarks. The code is available at this https URL.

研究动机与目标

• 为解决由双向光流线性组合引起的视频帧插值中的运动边界伪影问题。
• 设计一种实时中间光流估计方法，以在不依赖中间光流平均的情况下提升插值质量。
• 通过一种新颖的泄漏蒸馏技术，实现光流估计网络的端到端训练。
• 在保持低推理延迟的同时，实现视频帧插值的最先进性能。

提出的方法

• RIFE 引入了 IFNet，一种深度神经网络，以从输入帧中直接、由粗到细地估计中间光流。
• 该方法使用估计的中间光流对输入帧进行特征映射的变形，以实现特征融合。
• 采用泄漏蒸馏机制以实现端到端训练，从而提高光流估计的准确性。
• 该框架避免了双向光流平均，从而减少了运动边界处的伪影。
• 对变形后的帧应用特征融合，以生成最终的插值帧。

实验结果

研究问题

• RQ1 与基于双向光流平均的方法相比，直接中间光流估计是否能减少视频帧插值中的运动边界伪影？
• RQ2 一个可端到端训练的光流估计网络是否能实现高性能并具备实时推理速度？
• RQ3 所提出的泄漏蒸馏技术是否能提升视频帧插值中光流估计的准确性？
• RQ4 RIFE 在速度和基准性能方面与现有基于光流的 VFI 方法相比如何？

主要发现

• RIFE 在多个视频帧插值基准测试中实现了最先进性能。
• 该方法显著快于现有的基于光流的 VFI 方法，实现了实时推理。
• 通过直接估计中间光流，RIFE 相较于依赖双向光流平均的方法，减少了运动边界处的伪影。
• 泄漏蒸馏的使用实现了有效的端到端训练，从而提升了光流估计的质量。