[論文レビュー] Video Frame Interpolation via Adaptive Convolution

Simon Niklaus, Long Mai+1 more|arXiv (Cornell University)|Mar 22, 2017

Advanced Vision and Imaging参考文献 36被引用数 33

ひとこと要約

本稿では、空間的に適応するカーネルを用いて、動き推定と画素合成を1つの畳み込み処理に統合する深層学習ベースの動画フレーム補間手法を提案する。光流に依存するのではなく、2つの入力フレームから各画素ごとの畳み込みカーネルを推定する完全畳み込みニューラルネットワークを採用することで、オクルージョン、ぼやけ、明るさの急変に対しても頑健な補間を実現し、動画データのみを用いたエンド・ツー・エンドの学習が可能となる。

ABSTRACT

Video frame interpolation typically involves two steps: motion estimation and pixel synthesis. Such a two-step approach heavily depends on the quality of motion estimation. This paper presents a robust video frame interpolation method that combines these two steps into a single process. Specifically, our method considers pixel synthesis for the interpolated frame as local convolution over two input frames. The convolution kernel captures both the local motion between the input frames and the coefficients for pixel synthesis. Our method employs a deep fully convolutional neural network to estimate a spatially-adaptive convolution kernel for each pixel. This deep neural network can be directly trained end to end using widely available video data without any difficult-to-obtain ground-truth data like optical flow. Our experiments show that the formulation of video interpolation as a single convolution process allows our method to gracefully handle challenges like occlusion, blur, and abrupt brightness change and enables high-quality video frame interpolation.

研究の動機と目的

• 光流に依存する従来の2段階フレーム補間手法の限界を解消し、動き推定誤差に敏感である問題に対処する。
• オクルージョン、ぼやけ、急激な明るさの変化といった課題に打ち勝つ。
• 動き推定と画素合成を1つの微分可能プロセスに統合する統一フレームワークを開発する。
• 光流や他の入手困難なアノテーションが不要な、単一の広く利用可能な動画データのみを用いたエンド・ツー・エンドの学習を可能にする。
• 学習された空間的に適応する畳み込みカーネルにより、鋭いエッジに配慮した補間結果を達成する。

提案手法

• 2つの入力フレームの対応するパッチ上で局所的な畳み込み操作として動画フレーム補間を定式化する。
• 各出力画素に対して空間的に適応する畳み込みカーネルを推定するための深層完全畳み込みニューラルネットワークを用いる。
• ネットワークは、各画素を中心とする入力フレームの受容 field パッチを入力とし、畳み込みカーネルを予測する。
• 予測されたカーネルを入力パッチに適用して、畳み込みにより補間画素の色を合成する。
• 光流やその他の教師なしに、動画データのみを用いたエンド・ツー・エンドの学習が可能である。
• 並列処理を可能にし、計算の冗長性を低減するために、シフト＆ステッチ実装を活用する。

実験結果

リサーチクエスチョン

• RQ1 明示的な動き推定を伴わずに、動画フレーム補間を1つの畳み込みプロセスに統合できるか？
• RQ2 深層ニューラルネットワークは、同時に動きと合成係数を符号化する空間的に適応する畳み込みカーネルを学習できるか？
• RQ3 オクルージョン、ぼやけ、明るさの急変といった困難な状況下でも、高品質な補間が可能か？
• RQ4 光流やその他の教師データが不要な状態で、動画データのみを用いたエンド・ツー・エンドの学習が可能か？
• RQ5 流れベースや位相ベースの補間と比較して、本手法は頑健性と視覚的品質の面で優れているか？

主な発見

• 提案手法は、動き推定と画素合成を1つの畳み込みプロセスに統合することで、高品質な動画フレーム補間を達成する。
• オプティカルフローに依存する手法と比較して、オクルージョン、ぼやけ、明るさの急変といった困難な状況をより滑らかに処理できる。
• エッジに配慮した畳み込みカーネルを学習し、特に画像の境界付近でより鋭い結果を生成する。
• 光流や他の教師データが不要な動画データのみを用いたエンド・ツー・エンドの学習が、直接画素を合成するベースラインネットワークよりも優れた結果をもたらす。
• 特にシャープネスの観点で、Long らのオプティカルフローに基づく補間手法よりも優れた結果を達成する。
• 1つのフレームを2つの入力フレームの間に補間することに限定されており、カーネルサイズ（41×82）を超える動きには対応できないが、この範囲内では性能劣化が滑らかに進行する。