[論文レビュー] AMT: All-Pairs Multi-Field Transforms for Efficient Frame Interpolation

Zhen Li, Zuo-Liang Zhu+4 more|arXiv (Cornell University)|Apr 19, 2023

Advanced Vision and Imaging被引用数 4

ひとこと要約

AMTは、すべてのペアの多フィールド変換を用いた新しい動画フレーム補間ネットワークを提案する。これにより、光流推定の正確性と多様性が向上する。双方向相関ボリュームと粗い光流から得られる複数の洗練された光流を活用することで、従来手法よりも高い効率性を実現し、Vimeo90KでIFRNet-Lを+0.15 dBのPSNR向上で上回る。FLOPsは75%削減され、パラメータ数は65%削減された。

ABSTRACT

We present All-Pairs Multi-Field Transforms (AMT), a new network architecture for video frame interpolation. It is based on two essential designs. First, we build bidirectional correlation volumes for all pairs of pixels, and use the predicted bilateral flows to retrieve correlations for updating both flows and the interpolated content feature. Second, we derive multiple groups of fine-grained flow fields from one pair of updated coarse flows for performing backward warping on the input frames separately. Combining these two designs enables us to generate promising task-oriented flows and reduce the difficulties in modeling large motions and handling occluded areas during frame interpolation. These qualities promote our model to achieve state-of-the-art performance on various benchmarks with high efficiency. Moreover, our convolution-based model competes favorably compared to Transformer-based models in terms of accuracy and efficiency. Our code is available at https://github.com/MCG-NKU/AMT.

研究の動機と目的

• 大規模な動きやオクルージョンに対処できない既存の光流ベースの動画フレーム補間手法の限界を解消すること。
• 新しい相関および精錬メカニズムを導入することで、タスク指向の光流の正確性と多様性を向上させること。
• 計算コストを削減しつつ正確性を損なわず、最先端の性能を達成すること。
• 畳み込みベースのモデルが、フレーム補間において、Transformerベースのモデルを精度と効率の両面で上回ることを示すこと。

提案手法

• AMTは、すべてのピクセルペア間の双方向相関ボリュームを構築することで、特に大規模な動きに対して光流推定の正確性を向上させる。
• 相関計算中に非表示フレームが原因で生じる座標の不一致を解消するため、スケーリングされたルックアップ戦略を採用する。
• すべてのペアの相関を用いて、双方向の光流とコンテンツ特徴量を同時にスケール間で統合的に更新することで、スケール間の動きの一貫性を向上させる。
• 単一の粗い光流ペアから、細分化された複数の光流フィールドグループを導出することで、各ピクセルに対する多様なワープ候補を可能にする。
• 各入力フレームを、これらの複数の光流フィールドを用いて別々にバックワードワープすることで、オクルージョン領域の再構成を改善する。
• 適応的融合機構により、ワープされた特徴量と残差精錬を組み合わせることで、より良いディテール回復とテクスチャの一貫性を実現する。

実験結果

リサーチクエスチョン

• RQ1 なぜ従来のVFI手法は、大規模な動きやオクルージョン下で正確な光流推定に苦労するのか？
• RQ2 光流推定を、真値と整合的でありながら、局所的詳細に多様性を持つようにどのように改善できるか？
• RQ3 一対の粗い光流から、複数の洗練された光流フィールドを用いて、オクルージョンのような曖昧な領域をよりよく処理できるか？
• RQ4 すべてのペアの相関は、スケール間で光流およびコンテンツ特徴量の精錬をどの程度向上させるか？
• RQ5 畳み込みベースのアーキテクチャは、フレーム補間において、精度と効率の両面でTransformerベースのモデルを上回ることができるか？

主な発見

• AMTはVimeo90Kで最先端の性能を達成し、IFRNet-Lを+0.15 dBのPSNR向上で上回った。FLOPsは75%削減され、パラメータ数は65%削減された。
• 小規模なAMT-Sモデルは、IFRNet-Bを+0.17 dBのPSNR向上で上回ったが、FLOPsとパラメータ数はそれぞれ60%にまで削減された。
• 3対の光流フィールドを使用すると顕著な性能向上が得られ、7対で飽和が観察された。これは、大規模モデルでは5対が最適なトレードオフであることを示している。
• アブレーションスタディにより、すべてのペアの相関が光流およびコンテンツ特徴量の統合的精錬に不可欠であることが確認され、これを除去するとPSNRが著しく低下した。
• 多フィールド精錬は、オクルージョン処理を顕著に改善し、動く物体に遮られても背景領域で一貫したテクスチャ回復を可能にした。
• 複数のワープ特徴量を残差精錬とともに適応的に融合させることで、平均ベースや非残差バージョンを上回る性能が得られ、各フレームごとのディテール補正の重要性が裏付けられた。