[論文レビュー] BMBC:Bilateral Motion Estimation with Bilateral Cost Volume for Video Interpolation

Junheum Park, Keunsoo Ko+2 more|arXiv (Cornell University)|Jul 17, 2020

Advanced Vision and Imaging参考文献 34被引用数 12

ひとこと要約

本稿では、双方向的コストボリュームを用いた双方向運動ネットワークを用いて正確な前向きおよび後向き運動を推定することで、中間フレーム合成を向上させる深層学習ベースの動画補間手法BMBCを提案する。6つの歪みフレーム（これらの双方向的運動により生成）を動的フィルタ生成ネットワークで組み合わせることで、UCF101で35.15 dBのPSNR、Vimeo90Kで35.01 dBのPSNRを達成し、複数のベンチマークで最先端の性能を発揮する。

ABSTRACT

Video interpolation increases the temporal resolution of a video sequence by synthesizing intermediate frames between two consecutive frames. We propose a novel deep-learning-based video interpolation algorithm based on bilateral motion estimation. First, we develop the bilateral motion network with the bilateral cost volume to estimate bilateral motions accurately. Then, we approximate bi-directional motions to predict a different kind of bilateral motions. We then warp the two input frames using the estimated bilateral motions. Next, we develop the dynamic filter generation network to yield dynamic blending filters. Finally, we combine the warped frames using the dynamic blending filters to generate intermediate frames. Experimental results show that the proposed algorithm outperforms the state-of-the-art video interpolation algorithms on several benchmark datasets.

研究の動機と目的

• 中間フレームの運動推定が不正確であることで生じる穴やぼやけなどのアーチファクトを解消すること。
• 流れの近似に依存せず、直接的に双方向運動を学習することで運動推定の正確性を向上させること。
• 動的ブレンドフィルタを用いて複数の歪みフレームを組み合わせることで、フレーム合成の品質を向上させること。
• 前方歪み（穴や重なり）と後方歪み（運動誤差への感受性）の限界を、頑健な双方向運動モデリングによって克服すること。
• 運動推定、特徴歪み、適応的フィルタリングを統合した包括的なフレームワークを構築し、高品質な動画補間を実現すること。

提案手法

• 参照フレームとターゲットフレーム間のマッチング精度を向上させるために、双方向コストボリュームを用いた双方向運動ネットワークを提案する。
• 直接的な双方向運動推定から得られる2つの中間運動候補と、近似された前向き／後向きフローから得られる4つの運動候補の合計6つの運動候補を推定する。
• 推定された6つの双方向運動を用いて、入力フレームおよびそのコンテキストマップを歪ませ、6組の歪み特徴ペアを生成する。
• 歪みフレームおよびコンテキストマップから空間的に適応的なブレンドフィルタを学習する動的フィルタ生成ネットワークを設計する。
• 学習された動的フィルタを用いて6つの歪みフレームを重ね合わせ、最終的な中間フレームを生成する。
• 幾何的構造の回復とコンテキスト的一致性の向上を図るため、コンテキストマップをフィルタ生成ネットワークの追加入力として用いる。

実験結果

リサーチクエスチョン

• RQ1 標準的なコストボリュームと比較して、双方向コストボリュームは動画補間における双方向運動推定の正確性を向上させることができるか？
• RQ2 流れベースの近似と比較して、直接的な双方向運動推定は、補間品質およびロバスト性において優れているか？
• RQ3 動的ブレンドフィルタを用いて6つの歪みフレーム（候補）を統合することで、最終的なフレーム品質にどのような影響を与えるか？
• RQ4 動的フィルタネットワークに追加の入力（入力フレームおよびコンテキストマップ）を加えると、性能にどのような影響を与えるか？
• RQ5 提案手法は、多様なデータセットおよびフレームレートにおいて、既存の最先端の動画補間アルゴリズムを上回る性能を発揮するか？

主な発見

• 提案手法のBMBCは、UCF101データセットで35.15 dBのPSNR、Vimeo90Kデータセットで35.01 dBのPSNRを達成し、すべての最先端手法を上回る。
• アブレーションスタディの結果、双方向運動推定（BM）と運動近似（Appx4）の両方を用いることで最良の性能が得られ、Appx4単体に比べて0.16 dBの向上が確認された。
• 入力フレームを追加のコンテキストとして用いることで、動的フィルタ生成ネットワークはUCF101で0.10 dB、Vimeo90Kで0.15 dBのPSNR向上をもたらした。
• フィルタネットワークにコンテキストマップを追加することで、UCF101で0.07 dB、Vimeo90Kで0.05 dBの性能向上が得られ、構造的詳細の保持におけるその価値が示された。
• 高フレームレートでの性能向上が顕著に見られ、Adobe240-fpsの8倍補間（t=0.125, 0.25, 0.375, など）において顕著な改善が確認された。
• 回転するホイールシーケンスの可視的結果から、BMBCはベースライン手法に比べて、繊細なテクスチャーや運動ディテールをより忠実に再構築していることが示された。