[論文レビュー] Real-Time Intermediate Flow Estimation for Video Frame Interpolation

Zhewei Huang, Tianyuan Zhang+3 more|arXiv (Cornell University)|Nov 12, 2020

Advanced Vision and Imaging被引用数 23

ひとこと要約

この論文では、事前学習済みの光学フロー・モデルに依存せずに、直接の中間光学フローを推定するエンド・ツー・エンドで学習可能なニューラルネットワーク、IFNetを用いたリアルタイム動画フレーム補間手法RIFEを提案する。特権的な distillation 方式と $3\times3$ 卷積を用いた軽量な IFBlocks を採用することで、SuperSlomo や DAIN よりも 4–27× 速く、時間的エンコーディングを用いることで任意のタイムステップ補間を可能にする。

ABSTRACT

Real-time video frame interpolation (VFI) is very useful in video processing, media players, and display devices. We propose RIFE, a Real-time Intermediate Flow Estimation algorithm for VFI. To realize a high-quality flow-based VFI method, RIFE uses a neural network named IFNet that can estimate the intermediate flows end-to-end with much faster speed. A privileged distillation scheme is designed for stable IFNet training and improve the overall performance. RIFE does not rely on pre-trained optical flow models and can support arbitrary-timestep frame interpolation with the temporal encoding input. Experiments demonstrate that RIFE achieves state-of-the-art performance on several public benchmarks. Compared with the popular SuperSlomo and DAIN methods, RIFE is 4--27 times faster and produces better results. Furthermore, RIFE can be extended to wider applications thanks to temporal encoding. The code is available at https://github.com/megvii-research/ECCV2022-RIFE.

研究の動機と目的

• メディアプレーヤーやディスプレイデバイス、動画ストリーミングにおけるリアルタイムで高品質な動画フレーム補間の課題に対処すること。
• 特に動きの境界やオブジェクトのシフトにおいて、フローリバーサルや事前学習済み光学フロー・モデルの制限を克服すること。
• 深度モデルやリファイニング・ネットワークなどの外部コンponentsに依存しない、軽量でエンド・ツー・エンドで学習可能なフレームワークの開発。
• 時間的エンコーディング入力を通じて、二値補間を超えた任意のタイムステップ補間を可能にすること。
• 教師モデルが真値の中間フレームにアクセスできる特権的な distillation 方式を用いることで、学習の安定性と性能を向上させること。

提案手法

• 軽量な IFBlocks（$3\times3$ 卷積とデコンボリューションから構成）を用い、粗くから細かくまで段階的に中間フローフィールドとソフトファージョンマスクを改善する、粗くから細かくまで処理するニューラルネットワークである IFNet を提案する。
• 教師モデルが真値の中間フレームにアクセスできる特権的な distillation 方式を設計し、訓練中に教師モデルが学生モデル（IFNet）をガイドすることで、フロー推定の精度を向上させる。
• 任意のタイムステップ補間を可能にするために、時間的エンコーディングを追加の入力として使用する。
• 再構成損失と distillation を用いた中間監視を組み合わせて、IFNet をエンド・ツー・エンドで訓練し、ピクセル単位の損失に依存しない。
• コストボリュームやフローリファイニング・モジュールのような高コストな演算を排除した簡素化されたアーキテクチャを採用し、リソース制限のあるデバイスでも効率的に動作する。
• $L_{Lap}$ 損失を $\mathcal{L}_1$ と比較して使用することで、より優れた知覚的品質が得られ、定量的・定性的な結果が向上する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの光学フロー・モデルや追加コンponents に依存せずに、軽量でエンド・ツー・エンドで学習可能なニューラルネットワークが、動画フレーム補間のための中間フローを直接推定できるか。
• RQ2 真値の中間フレームにアクセスできる教師モデルが学生モデルをガイドする特権的な distillation 方式は、再構成損失のみで訓練する従来手法と比較して、どの程度効果的か。
• RQ3 $3\times3$ 卷積と粗くから細かくまで処理するアーキテクチャを備えた本手法 IFNet は、既存のフローリバーサルおよびリファイニング手法と比較して、速度と精度の面でどの程度優れているか。
• RQ4 時間的エンコーディングを組み込むことで、本手法は任意のタイムステップ補間に対応できるか。また、固定の補間ステップを必要とする手法と比較して、性能はいかがであるか。
• RQ5 バッチ正規化や損失関数といったアーキテクチャ的選択が、モデルの性能と推論効率に与える影響はどの程度か。

主な発見

• RIFE は Vimeo90K および HD-4× ベンチマークで最先端の性能を達成し、Vimeo90K では PSNR 35.61、LPIPS 1.96 を記録し、SuperSlomo や DAIN を上回る。
• RIFE は SuperSlomo や DAIN よりも 4–27× 速く、高解像度動画でも最長 16ms の推論時間で実現可能であり、リアルタイムでのデプロイが可能である。
• 特権的な distillation 方式は学習の安定性と性能を顕著に向上させ、アブレーションスタディでは、これを削除すると学習が発散し、性能が低下することが示された。
• RAFT や PWC-Net を用いたフローリバーサル手法に IFNet を置き換えると、動きの境界におけるオブジェクトシフトの処理に課題が生じ、性能が悪化する。
• $\mathcal{L}_1$ 損失の代わりに $L_{Lap}$ 損失を使用することで、定量的にも優れた結果が得られ、フレーム補間における知覚的品質の向上が実証された。
• 同じフローとファージョンマップを用いて、MiDaS を用いた深度マップ補間の例でも、本モデルをモノクロナル深度マップの補間へと拡張可能であることが示された。