[論文レビュー] Context-aware Synthesis for Video Frame Interpolation

Simon Niklaus, Feng Liu|arXiv (Cornell University)|Mar 29, 2018

Advanced Vision and Imaging参考文献 31被引用数 30

ひとこと要約

本稿では、双方向オプティカルフローを用いて入力フレームおよびそのピクセル単位の文脈的特徴量を変形することで、合成を向上させる文脈に配慮した動画フレーム補間手法を提案する。先行手法とは異なり、変形されたフレームを単純にブレンドするのではなく、完全畳み込みニューラルネットワークを用いて、変形されたフレームと文脈マップから中間フレームを合成する。これにより、遮蔽、大規模な動き、ぼやけの状況において優れた性能を発揮し、Middleburyベンチマークにおいても最先端手法を上回り、PSNR 34.62を達成した。

ABSTRACT

Video frame interpolation algorithms typically estimate optical flow or its variations and then use it to guide the synthesis of an intermediate frame between two consecutive original frames. To handle challenges like occlusion, bidirectional flow between the two input frames is often estimated and used to warp and blend the input frames. However, how to effectively blend the two warped frames still remains a challenging problem. This paper presents a context-aware synthesis approach that warps not only the input frames but also their pixel-wise contextual information and uses them to interpolate a high-quality intermediate frame. Specifically, we first use a pre-trained neural network to extract per-pixel contextual information for input frames. We then employ a state-of-the-art optical flow algorithm to estimate bidirectional flow between them and pre-warp both input frames and their context maps. Finally, unlike common approaches that blend the pre-warped frames, our method feeds them and their context maps to a video frame synthesis neural network to produce the interpolated frame in a context-aware fashion. Our neural network is fully convolutional and is trained end to end. Our experiments show that our method can handle challenging scenarios such as occlusion and large motion and outperforms representative state-of-the-art approaches.

研究の動機と目的

• 遮蔽、大規模な動き、不正確なオプティカルフローに起因するフレーム補間の限界を解消すること。
• 単純なブレンド手法を超えて、文脈的情報を統合することで、合成品質を向上させること。
• 動きと意味的文脈の両方を活用した、柔軟でエンドツーエンドで学習可能なニューラルネットワークを構築すること。
• 特に運動ぼやけや欠損データの処理に優れた性能を示す、挑戦的な動画補間ベンチマークでの優れた性能を実証すること。

提案手法

• 入力フレームからピクセル単位の文脈的特徴量を抽出するために事前学習済みのニューラルネットワークを用いる。
• PWC-Netを用いて入力フレーム間の双方向オプティカルフローを推定する。
• 推定された双方向フローを用いて、入力フレームおよびその文脈マップを事前に変形する。
• 変形されたフレームと文脈マップを入力として受け取り、中間フレームを生成する完全畳み込みフレーム合成ネットワークを学習する。
• アーキテクチャの選択によりチェッカーパattersを回避するとともに、学習損失関数（例：$ε$-損失またはラプラシアン損失）を用いて学習を監視する。
• グリッド状のアーチファクトを避けるために、転置畳み込みの代わりに双線形補間を合成ネットワークに適用する。

実験結果

リサーチクエスチョン

• RQ1 ピクセル単位の文脈的情報を組み込むことで、遮蔽や運動ぼやけの状況下でも動画フレーム補間の性能が向上するか？
• RQ2 変形されたフレームと文脈マップを入力として扱う合成ネットワークは、従来のブレンドベース手法を上回る性能を発揮するか？
• RQ3 Middlebury や DAVIS のようなベンチマークデータセットにおいて、文脈に配慮した合成は最先端手法と比較してどのように差をつけるか？
• RQ4 再学習や再帰的精錬を経ずに、任意の時間的位置 $t \in [0,1]$ での補間が可能か？

主な発見

• 本手法はDVFデータセットにおいてPSNR 34.62を達成し、ボクセルフロー基準手法（34.12）を上回った。
• Middleburyベンチマークにおいて、本手法はこれまでに発表されたすべての手法の中で最高の結果を出した。
• 人間評価では、$ε$-損失を用いた本手法の結果が、5つの競合手法と比較して80％の比較で好まれた。
• 本手法は大規模な動きや遮蔽に対しても効果的に対処でき、基準となるブレンドアプローチよりもアーチファクトが少なかった。
• 文脈マップの使用により、動きの不確実性やフロー欠損データのある領域において、合成ネットワークがより的確な予測を可能にした。
• 本手法は、再学習や再帰的ステップを経ずに、任意の時間的位置 $t \in [0,1]$ での補間が可能である。