[論文レビュー] IFRNet: Intermediate Feature Refine Network for Efficient Frame Interpolation

Lingtong Kong, Boyuan Jiang+6 more|arXiv (Cornell University)|May 29, 2022

Advanced Vision and Imaging被引用数 6

ひとこと要約

IFRNetは、効率的な動画フレーム補間を実現するため、軽量で単一のエンコーダ・デコーダアーキテクチャを提案する。このアーキテクチャは、中間的な光学フローと中間特徴を同時に精緻化することで、高速な推論と最小限のパラメータ数で最先端の精度を達成する。フローと特徴の精緻化を統合したユニフィードネットワークに加え、タスク指向のフローディスティルレーションと幾何学的一致正則化を導入することで、従来手法に比べて速度、精度、モデルのコンactnessの面で優れる。

ABSTRACT

Prevailing video frame interpolation algorithms, that generate the intermediate frames from consecutive inputs, typically rely on complex model architectures with heavy parameters or large delay, hindering them from diverse real-time applications. In this work, we devise an efficient encoder-decoder based network, termed IFRNet, for fast intermediate frame synthesizing. It first extracts pyramid features from given inputs, and then refines the bilateral intermediate flow fields together with a powerful intermediate feature until generating the desired output. The gradually refined intermediate feature can not only facilitate intermediate flow estimation, but also compensate for contextual details, making IFRNet do not need additional synthesis or refinement module. To fully release its potential, we further propose a novel task-oriented optical flow distillation loss to focus on learning the useful teacher knowledge towards frame synthesizing. Meanwhile, a new geometry consistency regularization term is imposed on the gradually refined intermediate features to keep better structure layout. Experiments on various benchmarks demonstrate the excellent performance and fast inference speed of proposed approaches. Code is available at https://github.com/ltkong218/IFRNet.

研究の動機と目的

• キャスケード構造を採用し、別々のフローネットワークと合成ネットワークに依存する従来のフローに基づく動画フレーム補間手法の非効率さと高いレイテンシを解消すること。
• モデルの複雑さと推論遅延を低減しながら、複雑な動的シーンにおいても精度を維持または向上させること。
• 追加の合成または精緻化モジュールを排除し、単一のネットワーク内で中間フローと特徴の精緻化が相互に強化される仕組みを実現すること。
• 運動推定と中間特徴の構造的一致性に特化した新しい損失関数を用いて、監視を強化すること。

提案手法

• キャスケード型のフローや合成ネットワークに代わり、両方の中間フロー場と中間特徴を同時に精緻化する統合型エンコーダ・デコーダアーキテクチャを提案する。
• 入力フレームからのピラミッド特徴抽出を実施し、デコーダーで粗い段階から細かい段階へとフローと特徴表現を精緻化する。
• 教師モデルから有用な知識を適応的に抽出するタスク指向のフローディスティルレーション損失を導入し、ロバスト性と運動精度を向上させる。
• 再構成された中間特徴を、真値特徴を使って制約することで、構造的レイアウトを保持する幾何学的一致正則化損失を適用する。
• 学習可能なマージマスクを備えたマルチスケールワーピング機構を用いて、入力フレームを変形・統合し、その後に残差精緻化ヘッドで欠落した詳細を回復する。
• フロー、特徴、マスク予測に共通のエンコーダ・デコーダコンponentsを活用することで、パラメータ効率性と推論速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 単一のネットワーク内で中間フローと中間特徴を同時に精緻化することで、キャスケード型のフローと合成パイプラインに比べてより優れた性能を達成できるか？
• RQ2 大規模なデータオーグメンテーションに依存せずに、中間フロー推定の監視をどのように改善できるか？
• RQ3 幾何学的一致正則化は、補間フレームにおける構造的忠実性をどの程度向上させられるか？
• RQ4 軽量で単一のエンコーダ・デコーダアーキテクチャが、複雑なマルチブランチモデルに比べ、精度と推論速度の両面で優れるか？

主な発見

• IFRNetはVimeo90Kベンチマークで最先端の性能を達成し、前回のSOTA手法に比べ、補間誤差（IE）と正規化補間誤差（NIE）の両方の指標で優れている。
• 大規模なIFRNetモデルは、RIFE や DAIN といった前回のSOTAアルゴリズムよりも数倍速く動作し、優れた推論速度を示している。
• 提案されたタスク指向のフローディスティルレーション損失により、特に大規模な動きやオクルージョン領域において、フローよりもロバストな推定が可能になったことが、フローマスクの可視化分析で示された。
• 幾何学的一致正則化により、構造的レイアウトの保持が顕著に向上し、真値と比較した平均特徴マップの一致度が向上していることが確認された。
• IFRNetは極めて少ないパラメータ数と推論遅延で高品質な結果を達成しており、リアルタイムおよびモバイルアプリケーションに適している。
• 可視化比較では、特に運動ブラーとオクルージョンを伴う困難なシーンにおいて、IFRNetが境界が明確で、より良いテクスチャディテールを生成していることが示された。