[論文レビュー] RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation.

Zhewei Huang, Tianyuan Zhang+3 more|arXiv (Cornell University)|Nov 12, 2020

Advanced Vision and Imaging参考文献 46被引用数 53

ひとこと要約

RIFEは、運動境界のアーチファクトを低減するために、双方向の光流の平均化を回避する、粗くから細かくまで直接の中間フロー推定ネットワーク（IFNet）を提案する。エンド・トゥ・エンドの訓練のためのリークドリフト（leakage distillation）を用いることで、従来のフローに基づく手法よりもはるかに高速な推論を実現し、動画フレーム補間分野で最先端の性能を達成する。

ABSTRACT

We propose a real-time intermediate flow estimation algorithm (RIFE) for video frame interpolation (VFI). Most existing methods first estimate the bi-directional optical flows, and then linearly combine them to approximate intermediate flows, leading to artifacts around motion boundaries. We design an intermediate flow model named IFNet that can directly estimate the intermediate flows from coarse to fine. We then warp the input frames according to the estimated intermediate flows and employ a fusion process to compute final results. Based on our proposed leakage distillation, RIFE can be trained end-to-end and achieve excellent performance. Experiments demonstrate that RIFE is significantly faster than existing flow-based VFI methods and achieves state-of-the-art index on several benchmarks. The code is available at this https URL.

研究の動機と目的

• 双方向の光流の線形結合によって引き起こされる動画フレーム補間における運動境界のアーチファクトを解消すること。
• 中間フローの平均化に依存せずに、補間品質を向上させるリアルタイムの中間フロー推定手法を設計すること。
• 新しいリークドリフト技術を用いて、フローエstimatationネットワークのエンド・トゥ・エンド訓練を可能にすること。
• 低遅延の推論を維持しながら、動画フレーム補間分野で最先端のパフォーマンスを達成すること。

提案手法

• RIFEは、入力フレームから粗くから細かくまで直接中間フローを推定する深層ニューラルネットワークであるIFNetを導入する。
• 推定された中間フローを用いて入力フレームをワープし、特徴マップの融合に用いる。
• エンド・トゥ・エンド訓練を可能にするために、リークドリフト機構を採用し、フローエstimatationの精度を向上させる。
• 双方向のフロー平均化を回避することで、運動境界でのアーチファクトを低減する。
• ワープされたフレームに対して特徴の融合を適用し、最終的な補間フレームを生成する。

実験結果

リサーチクエスチョン

• RQ1 中間フローの直接推定は、従来の双方向フロー平均化と比較して、動画フレーム補間における運動境界のアーチファクトを低減できるか？
• RQ2 エンド・トゥ・エンドで訓練可能なフローエstimatationネットワークは、リアルタイムの推論速度を達成できるか？
• RQ3 提案されたリークドリフト技術は、動画フレーム補間におけるフローエstimatationの精度を向上させるか？
• RQ4 RIFEは、既存のフローに基づくVFI手法と比較して、速度およびベンチマークパフォーマンスの面で優れているか？

主な発見

• RIFEは、複数の動画フレーム補間ベンチマークで最先端のパフォーマンスを達成した。
• 従来のフローに基づくVFIアプローチよりも著しく高速であり、リアルタイム推論を実現した。
• 中間フローを直接推定することで、双方向フロー平均化に依存する手法と比較して、運動境界でのアーチファクトが低減された。
• リークドリフトの導入により、効果的なエンド・トゥ・エンド訓練が可能になり、フローエstimatationの品質が向上した。