[論文レビュー] Extracting Motion and Appearance via Inter-Frame Attention for Efficient Video Frame Interpolation

Guozhen Zhang, Yuhan Zhu+4 more|arXiv (Cornell University)|Mar 1, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

本論文は、統一的な枠組みで動きと外見特徴を明示的に抽出する新しい動画フレーム補間手法であるEMA-VFIを提案する。時間的隣接特徴への注目マップを再利用することで、外見特徴を注目マップで強化するとともに、動きベクトルの推定にも用いる。この手法は、比較的低い計算コストで複数のデータセットにおいて最先端の性能を達成した。

ABSTRACT

Effectively extracting inter-frame motion and appearance information is important for video frame interpolation (VFI). Previous works either extract both types of information in a mixed way or elaborate separate modules for each type of information, which lead to representation ambiguity and low efficiency. In this paper, we propose a novel module to explicitly extract motion and appearance information via a unifying operation. Specifically, we rethink the information process in inter-frame attention and reuse its attention map for both appearance feature enhancement and motion information extraction. Furthermore, for efficient VFI, our proposed module could be seamlessly integrated into a hybrid CNN and Transformer architecture. This hybrid pipeline can alleviate the computational complexity of inter-frame attention as well as preserve detailed low-level structure information. Experimental results demonstrate that, for both fixed- and arbitrary-timestep interpolation, our method achieves state-of-the-art performance on various datasets. Meanwhile, our approach enjoys a lighter computation overhead over models with close performance. The source code and models are available at https://github.com/MCG-NJU/EMA-VFI.

研究の動機と目的

• 既存のVFI手法が動きと外見特徴を混合するか、別々のモジュールを用いることで、表現の曖昧さや高い計算コストを引き起こすという問題を解決すること。
• 固定時刻および任意時刻の両方のフレーム補間において、効率的でスケーラブルかつ正確な動画フレーム補間を可能にすること。
• 高分解能入力における注目計算のオーバーヘッドを低減するハイブリッドアーキテクチャにより、CNNとTransformerを統合することで、微細な低レベル構造を保持すること。
• 単一の時間的隣接注目メカニズムを用いて、動きと外見特徴抽出を統一し、重複するモジュールを回避すること。

提案手法

• 本手法は、時間的隣接注目マップを、特徴の集約による外見特徴の強化に加え、隣接特徴の重み付き移動による動きベクトルの推定にも再利用する。
• 外見特徴は時間的隣接特徴への注目によって精錬され、動き信号と混合せずに文脈表現を向上させる。
• 動き特徴は直接的に注目マップから導出され、任意時刻補間に適したスケーラブルな動きの手がかりを提供する。
• ハイブリッドCNN-Transformerアーキテクチャを採用する：CNNは高分解能の低レベル特徴を抽出し、時間的隣接注目を持つTransformerブロックは低分解能特徴を処理することで計算コストを低減する。
• 動き推定と外見特徴の精錬のための軽量ヘッドを用いることで、性能を損なわず効率性を確保する。
• Transformerブロックの数や複雑さを調整することで、性能と推論速度のバランスを調整でき、スケーラブルな展開が可能になる。

実験結果

リサーチクエスチョン

• RQ1 時間的隣接注目を再利用することで、別々のモジュールを用いずに、外見特徴の強化と動き表現を同時に抽出できるか？
• RQ2 高分解能入力において、時間的隣接注目を効率的に適用することで、計算コストの過剰な増加を回避できるか？
• RQ3 注目マップから抽出した動き特徴は、任意時刻フレーム補間に効果的にスケーリングできるか？
• RQ4 ハイブリッドCNN-Transformer設計は、自己注意計算の負担を軽減しつつ、微細なディテールを保持できるか？
• RQ5 最先端のVFIモデルと比較して、本手法の性能と効率性はどの程度か？

主な発見

• EMA-VFIは、固定時刻および任意時刻補間の両方において、Vimeo90K、Xiph-2K、Xiph-4Kデータセットで最先端の性能を達成した。
• Xiph-2Kデータセットでは、PSNRが36.74、SSIMが0.944を達成し、以前の最先端手法を上回った。
• 任意時刻補間に動き特徴をヒントとして用いることで、時間tを直接挿入する手法よりも優れた結果が得られ、実行時間はわずか3ms増加にとどまった。
• Transformerブロックの数を2倍にするか、チャネル数を2倍にすると性能が顕著に向上し、後者の方が容量の向上に起因してより顕著な向上が得られた。
• 高レベルの段階でTransformerをCNNに置き換えると性能が低下し、最も低いスケールでのみTransformerを用いると、精度が著しく低下した。これは、多スケールの注目が必要であることを確認した。
• HD(720p)解像度では30msという低推論時間を維持しており、同程度またはより高い精度を持つ他のモデルと比較して、計算効率面で優れた性能を示した。