[論文レビュー] Reblur2Deblur: Deblurring Videos via Self-Supervised Learning

Huaijin Chen, Jinwei Gu+4 more|arXiv (Cornell University)|Jan 16, 2018

Advanced Image Processing Techniques参考文献 20被引用数 6

ひとこと要約

本稿では、トレーニング中に物理的Blur形成モデルを強制することで、深層学習ベースのデブラーに改善をもたらす自己教師付き動画デブラー手法Reblur2Deblurを提案する。予測されたシャープなフレームを光流を用いて再Blur化し、入力の曇りフレームを再構築することで、教師なしでネットワークをファインチューニングし、アーティファクトを顕著に低減し、SOTA手法を上回るPSNRおよびSSIMを達成する。

ABSTRACT

Motion blur is a fundamental problem in computer vision as it impacts image quality and hinders inference. Traditional deblurring algorithms leverage the physics of the image formation model and use hand-crafted priors: they usually produce results that better reflect the underlying scene, but present artifacts. Recent learning-based methods implicitly extract the distribution of natural images directly from the data and use it to synthesize plausible images. Their results are impressive, but they are not always faithful to the content of the latent image. We present an approach that bridges the two. Our method fine-tunes existing deblurring neural networks in a self-supervised fashion by enforcing that the output, when blurred based on the optical flow between subsequent frames, matches the input blurry image. We show that our method significantly improves the performance of existing methods on several datasets both visually and in terms of image quality metrics. The supplementary material is https://goo.gl/nYPjEQ

研究の動機と目的

• 深層学習ベースの動画デブラー手法における画像アーティファクトおよびコンテンツの不一致の問題に対処すること。
• 物理的Blur形成を学習プロセスに統合することで、復元結果の一般化性と忠実性を向上させること。
• 教師データを必要とせず、既存のデブラー ネットワークのファインチューニングを可能にすること。
• 物理的デブラー（忠実だがアーティファクトを発生させる）と学習ベースデブラー（妥当ではあるがコンテンツに不正確）のギャップを埋めること。

提案手法

• 本手法は、曇り動画フレームからシャープなフレームと光流を予測する微分可能パイプラインを用いる。
• 光流を用いてピクセル単位のBlurカーネルを計算し、予測されたシャープなフレームを元の曇りフレーム空間に再Blur化する。
• 再Blur化出力を元の入力曇りフレームと比較してL2損失を最小化することで、自己教師付き学習を実現する。
• 本アプローチは、DVD や DeblurGAN といった事前学習済みデブラー ネットワークの上にファインチューニング モジュールとして適用可能である。
• 2種類のBlur形成モデルを評価：畳み込みベースとワープベースの手法で、後者は高速かつほぼ同等の効果を示す。
• 正確なBlurカーネル推定のため、少なくとも3フレームの入力が必要である。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き学習フレームワークは、深層学習ベースの動画デブラーにおける忠実性を向上させ、アーティファクトを低減できるか？
• RQ2 物理的Blur形成モデルを強制することで、復元出力の品質と一貫性はどのように変化するか？
• RQ3 教師なし監視なしに再Blur化によるファインチューニングは有効か？
• RQ4 複数フレームを用いるBlur形成モデルと2フレームの違いは何か？
• RQ5 個々の画像に対する自己教師付きファインチューニングは、グループベースのファインチューニングを上回るか？

主な発見

• MCD、DVD、ISOCHART データセットにおいて、Reblur2Deblurはベースライン手法比でPSNRを0.9–1.2 dB、SSIMを0.01–0.02向上させる。
• DeblurGAN-ReblurはISOCHART データセットでPSNR 31.96、SSIM 0.9814を達成し、DeblurGAN（PSNR: 31.89、SSIM: 0.9796）を上回る。
• 3フレームBlur形成モデルは2フレームバージョン（PSNR: 25.163、SSIM: 0.869）よりも優れた性能（PSNR: 25.694、SSIM: 0.880）を示す。
• 複数画像を対象としたグループベースのファインチューニングは、単一画像ファインチューニングをわずかに上回り、勾配安定性が向上していることが示唆される。
• ワープベースBlurモデルにより、ミニバッチ（10画像）あたりの学習時間を0.56秒に短縮し、推論の効率が向上した。
• 視覚的比較では、Reblur2Deblurが正しく内容を回復（例：'1'ではなく'3'を再構築）している一方、DeblurGANは幻想的な詳細を生成している。