[論文レビュー] Video Deblurring by Fitting to Test Data

Xuanchi Ren, Zian Qian+1 more|arXiv (Cornell University)|Dec 9, 2020

Advanced Image Processing Techniques参考文献 41被引用数 5

ひとこと要約

本稿では、テスト動画内に存在するシャープなフレームを活用して、深層畳み込みニューラルネットワークをテスト動画に直接適合させる、画期的な動画のぼやけ除去手法を提案する。この手法によりドメインギャップの問題が解消され、内部動画データを用いたぼやけ生成戦略と損失再重み付けにより、最先端のぼやけ除去品質と時間的整合性が達成され、メタラーニングを用いることで100倍の高速化が達成されつつ、性能を維持する。

ABSTRACT

Motion blur in videos captured by autonomous vehicles and robots can degrade their perception capability. In this work, we present a novel approach to video deblurring by fitting a deep network to the test video. Our key observation is that some frames in a video with motion blur are much sharper than others, and thus we can transfer the texture information in those sharp frames to blurry frames. Our approach heuristically selects sharp frames from a video and then trains a convolutional neural network on these sharp frames. The trained network often absorbs enough details in the scene to perform deblurring on all the video frames. As an internal learning method, our approach has no domain gap between training and test data, which is a problematic issue for existing video deblurring approaches. The conducted experiments on real-world video data show that our model can reconstruct clearer and sharper videos than state-of-the-art video deblurring approaches. Code and data are available at https://github.com/xrenaa/Deblur-by-Fitting.

研究の動機と目的

• 合成データで学習したモデルが実世界の動画では失敗するという動画ぼやけ除去におけるドメインギャップ問題に対処すること。
• 大規模な事前学習データセットを必要としない自己教師付きでテストデータに特化したぼやけ除去パイプラインの開発。
• 内部動画統計を活用して、実世界の運動ぼやけ動画におけるぼやけ除去品質と時間的整合性の向上。
• 品質を損なわず、メタラーニング（MAML）を適用して動画ぼやけ除去の学習プロセスを高速化すること。
• ベンチマーク用に公開するための実世界動画ぼやけ除去データセットの収集と公開。

提案手法

• 動画内に存在するシャープなフレームを特定し、それらを監視信号として用いて、ぼやけ除去のための軽量CNNを学習する。
• 対称的なぼやけカーネルをシャープなフレームに適用することで、現実的な運動ぼやけを模倣するぼやけ生成戦略を採用し、現実的な学習ペアを生成する。
• 高周波成分に重点を置く損失再重み付けスキームを採用し、トレーニング中に微細なディテールを保持する。
• ぼやけ生成時に逆ガンマ補正を適用することで、現実のぼやけ特性により適切に一致させる。
• メタラーニング（MAML）を用いてネットワークの初期化を行い、1動画あたりの学習時間を数時間から約5分に短縮する。
• 既存のぼやけ除去モデルの出力を精緻化するためのポストプロセッシングステップとしても利用可能である。

実験結果

リサーチクエスチョン

• RQ1 テスト動画内の内部シャープフレームのみで学習したディープラーニングモデルが、ドメインシフトなしで優れたぼやけ除去性能を達成できるか？
• RQ2 対称的なぼやけカーネルと損失再重み付けの使用が、時間的整合性と視覚的品質に与える影響は？
• RQ3 メタラーニングが、ぼやけ除去品質を損なわず、テストデータへの適合プロセスをどの程度高速化できるか？
• RQ4 提案手法は実世界の自動運転車やロボットの動画シナリオにも一般化可能か？
• RQ5 内部学習アプローチは、実世界の動画データにおいて、既存の最先端手法を上回る性能を示すか？

主な発見

• 損失再重み付けなしでは66.0%のユーザー選好率を達成したが、対称的カーネルと逆ガンマ補正を適用すると84.0%に上昇した。
• 比較手法の中で最低のワーピング誤差（0.2630）を達成し、優れた時間的整合性を示した。
• ユーザースタディの結果、86.0%の参加者が、当手法パイプラインによる後処理を施したSTFANの出力を好んだ。
• MAMLを用いた高速化版では、学習時間を数時間から1動画あたり約5分に短縮し、品質の低下は最小限に抑えられた。
• 定量的指標およびユーザースタディの両面で、DeblurGAN-v2、EDVR、STFANを大きく上回った。
• 70本の実世界動画から構成される本手法の公開用実世界動画ぼやけ除去データセットは、今後のベンチマークに向け公開された。