[論文レビュー] DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks

Orest Kupyn, Volodymyr Budzan+3 more|arXiv (Cornell University)|Nov 19, 2017

Advanced Image Processing Techniques被引用数 10

ひとこと要約

DeblurGANは、感知損失、対抗損失、L1コンテンツ損失を組み合わせたマルチコンponent損失関数を備えた条件付き生成対抗ネットワーク（cGAN）を提案する。この手法はエンドツーエンドのブラインドモーションデブラーに最適化されており、構造的類似度と視覚的品質において最先端の性能を達成している。また、最近縁の手法（DeepDeblur）と比較して5倍速く、合成ブラー生成法と、物体検出に基づく評価プロトコルという新規手法を導入している。この評価プロトコルはPSNR単独よりも、視覚的品質との相関がより高い。

ABSTRACT

We present DeblurGAN, an end-to-end learned method for motion deblurring. The learning is based on a conditional GAN and the content loss . DeblurGAN achieves state-of-the art performance both in the structural similarity measure and visual appearance. The quality of the deblurring model is also evaluated in a novel way on a real-world problem -- object detection on (de-)blurred images. The method is 5 times faster than the closest competitor -- DeepDeblur. We also introduce a novel method for generating synthetic motion blurred images from sharp ones, allowing realistic dataset augmentation. The model, code and the dataset are available at https://github.com/KupynOrest/DeblurGAN

研究の動機と目的

• 深層学習を用いたエンドツーエンドで、カーネルフリーなブラインドモーションデブラー手法の開発。
• 従来のPSNRのような指標を上回る、視覚的品質と構造的類似度の向上。
• 軽量で効率的なアーキテクチャの設計により、デブラー推論を高速化。
• データ拡張のための現実的で新しい合成モーションブラー生成法の導入。
• 物体検出性能に基づく新しい評価プロトコルの提案により、実世界での実用性をよりよく反映。

提案手法

• DeblurGANは、マルチスケールの残差エンコーダ・デコーダアーキテクチャを用いて、ブラー画像からシャープ画像へのマッピングを学習する条件付きGANフレームワークを採用。
• 訓練の安定化とモードカバレッジの向上を図るため、勾配ペナルティを用いたワサーレインGAN（WGAN-GP）を採用。
• マルチコンponent損失関数は、事前学習済みVGGネットワークからの特徴量を用いた感知損失、ディスクラミネータからの対抗損失、およびL1再構成損失を統合。
• ランダムなカメラモーショントラジェクトリを用いた新規な合成ブラー生成法により、シャープ画像から現実的なモーションブラーをシミュレートし、大規模なデータ拡張を可能に。
• 生成器ネットワークは、2つのストライド付き畳み込みブロック、インスタンス正則化とReLU活性化関数を備えた9つの残差ブロック、およびアップスケーリング用の2つの転置畳み込み層から構成。
• ディスクラミネータは、実際のシャープ画像と生成されたデブラー画像を区別するように訓練され、リアルなテクスチャと詳細の回復を促進。

実験結果

リサーチクエスチョン

• RQ1 マルチコンponent損失関数を備えた条件付きGANは、既存手法と比較して顕著に高速化されつつ、ブラインドモーションデブラーで最先端の性能を達成できるか？
• RQ2 ランダムなモーショントラジェクトリに基づく合成ブラー生成法は、デブラーモデルの一般化性能向上にどの程度効果的か？
• RQ3 物体検出性能との相関が、従来のPSNRやSSIMのような指標よりも、デブラー品質の評価に適しているか？
• RQ4 GANベースのデブラーモデルは、ブラー画像に対する実世界の検出タスクで非生成的ベースラインを上回る性能を示せるか？
• RQ5 合成データと実世界のブラーデータを組み合わせることで、モデルの一般化性能とロバストネスはどの程度向上するか？

主な発見

• GoProデータセットにおいて、DeblurGANは構造的類似度（SSIM）スコア0.816を達成し、DeepDeblur（SSIM 0.807）や非CNNベースラインを上回った。
• Kohlerデータセットでは、PSNR 26.10、SSIM 0.816を達成し、ベンチマーク全体にわたる強力な一般化性能を示した。
• DeblurGANはDeepDeblurと比較して5倍速く、最近縁の手法と比較して顕著な推論速度の優位性を示した。
• YOLOを用いた物体検出評価では、実世界のブラー付きストリートビュー画像データセットで、リコール0.742、F1スコア0.704を達成。DeepDeblur（リコール0.552、F1 0.665）を上回った。
• 合成データと実データの組み合わせ（DeblurGAN comb）は、最高のF1スコア（0.704）を記録し、合成データがモデルのロバストネス向上に寄与していることを示した。
• 物体検出に基づく評価プロトコルは、PSNRよりも視覚的品質との相関が高く、DeblurGANはPSNRの順位とは異なり、検出性能の向上が顕著に見られた。