[論文レビュー] Asymmetric Bilateral Motion Estimation for Video Frame Interpolation

Junheum Park, Chul Lee+1 more|arXiv (Cornell University)|Aug 15, 2021

Advanced Vision and Imaging参考文献 42被引用数 4

ひとこと要約

本稿では、中間アンカーフレームからの非対称な動きベクトルを用いて対称なバイラテラル動きフィールドを精緻化することで、動きの正確性を向上させる、新しい動画フレーム補間手法である非対称なバイラテラル動き推定（ABME）を提案する。動的フィルタリングと残差精緻化を組み合わせることで、Vimeo90Kでは最大2 dB、困難なサブセットでは1 dBの性能向上を達成し、最先端の性能を実現した。

ABSTRACT

We propose a novel video frame interpolation algorithm based on asymmetric bilateral motion estimation (ABME), which synthesizes an intermediate frame between two input frames. First, we predict symmetric bilateral motion fields to interpolate an anchor frame. Second, we estimate asymmetric bilateral motions fields from the anchor frame to the input frames. Third, we use the asymmetric fields to warp the input frames backward and reconstruct the intermediate frame. Last, to refine the intermediate frame, we develop a new synthesis network that generates a set of dynamic filters and a residual frame using local and global information. Experimental results show that the proposed algorithm achieves excellent performance on various datasets. The source codes and pretrained models are available at https://github.com/JunHeum/ABME.

研究の動機と目的

• 対称なバイラテラル動きモデルにおける剛体的な線形動き制約が原因で生じる動き推定の不正確さを是正する。
• 前方および後方ワーピングの限界、特にホールやオーバーラップアーチファクトを、精緻化された動きフィールドを用いた後方ワーピングによって克服する。
• 非線形軌道のため、対称な動きモデルが失敗する領域、特にオクルージョン領域や動き境界領域における補間品質を向上させる。
• 局所的特徴とグローバルな文脈的特徴を効果的に統合する動的フィルタと文脈的特徴マップを用いた合成ネットワークを構築し、アーチファクトやノイズを低減する。
• 高速な動きやオクルージョンを含む多様なデータセットにおいて、最先端の性能を達成する。

提案手法

• 入力フレーム間の対称なバイラテラル動きフィールドを予測し、後方ワーピングによって中間アンカーフレームを生成する。
• アンカーフレームから両方の入力フレームへ向かう非対称なバイラテラル動きフィールドを推定し、線形動き制約を緩和することで非線形軌道をよりよくモデル化する。
• 非対称な動きフィールドを用いて入力フレームを後方ワーピングし、再構築用の候補となるワーピングフレームを生成する。
• 2つのサブネットワークを持つ合成ネットワークを設計する：FilterNetは局所的特徴を用いて動的フィルタを生成し、候補となるワーピングフレームの重み付けを行う。RefineNetはグローバルな文脈的情報を用いて残差フレームを再構築する。
• 非対称な動き精緻化モジュールに学習可能な信頼性マスクとオフセットマップを統合し、困難な領域における動きの正確性を向上させる。
• 対称的および非対称的なワーピングフレーム候補を、学習可能な動的フィルタを用いて統合し、文脈的特徴マップを用いて出力を精緻化することで、再現性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非対称なバイラテラル動き推定は、対称モデルと比較して動画フレーム補間における動きの正確性を向上させることができるか？
• RQ2 線形動き制約を緩和することで、オクルージョン領域や動き境界領域における補間品質にどのような影響を与えるか？
• RQ3 複数のワーピング入力を統合する際、動的フィルタと残差精緻化はどの程度フレーム合成の品質を向上させるか？
• RQ4 信頼性マスクとオフセットマップは、非対称な動きフィールドの精緻化において、それぞれどの程度の貢献をしているか？
• RQ5 対称的および非対称的なワーピングフレーム候補を併用することで、単独で使用する場合よりも優れた性能が得られるか？

主な発見

• 提案手法ABMEはVimeo90Kデータセットで最先端の性能を達成し、EasyおよびMediumサブセットでは最大2 dBのPSNR向上を達成した。
• HardおよびExtremeサブセットでは、既存の最良手法を1 dB以上上回り、困難な動きパターンに対しても高いロバスト性を示した。
• 対称的および非対称的ワーピングフレーム候補の併用が最良の結果（Vimeo90Kにおける36.18 PSNR）をもたらし、対称的のみ（35.91）や非対称的のみ（36.05）の設定を上回った。
• ABMR-Netにおける信頼性マスクとオフセットマップはそれぞれ、PSNRに0.49 dBおよび0.52 dBの寄与を示し、両方を併用した場合に顕著な向上が得られた。
• RefineNetにフィルタリングされた特徴マップ（$\widetilde{C}_t$）を組み込むことで、PSNRが0.1 dB向上し、ノイズ低減および文脈に適応した修復の役割を確認した。
• 視覚的分析により、ABMEは移動物体やオクルージョン周辺のアーチファクトや誤差を、対称的または近似された動きモデルと比較して顕著に低減していることが確認された—特に高速な動きシーケンスにおいて顕著であった。