[論文レビュー] Deblurring by Realistic Blurring

Kaihao Zhang, Wenhan Luo+5 more|arXiv (Cornell University)|Apr 4, 2020

Advanced Image Processing Techniques参考文献 51被引用数 11

ひとこと要約

本稿では、最初にGANベースの学習によるぼかしモジュール（BGAN）を用いて現実的なぼやけた画像を生成することにより、性能を向上させる新規な画像のぼかし解除フレームワークを提案する。その後、このBGANが学習によるぼかし解除GAN（DBGAN）をガイドし、より鋭い結果を得る。相対的ぼかし損失と新規の実世界ぼやけ画像（RWBI）データセットを用いることで、GOPROおよび実世界のベンチマークにおいて、定量的・定性的に最先端の結果を達成した。

ABSTRACT

Existing deep learning methods for image deblurring typically train models using pairs of sharp images and their blurred counterparts. However, synthetically blurring images do not necessarily model the genuine blurring process in real-world scenarios with sufficient accuracy. To address this problem, we propose a new method which combines two GAN models, i.e., a learning-to-Blur GAN (BGAN) and learning-to-DeBlur GAN (DBGAN), in order to learn a better model for image deblurring by primarily learning how to blur images. The first model, BGAN, learns how to blur sharp images with unpaired sharp and blurry image sets, and then guides the second model, DBGAN, to learn how to correctly deblur such images. In order to reduce the discrepancy between real blur and synthesized blur, a relativistic blur loss is leveraged. As an additional contribution, this paper also introduces a Real-World Blurred Image (RWBI) dataset including diverse blurry images. Our experiments show that the proposed method achieves consistently superior quantitative performance as well as higher perceptual quality on both the newly proposed dataset and the public GOPRO dataset.

研究の動機と目的

• 訓練データにおける合成ぼかしと実世界の画像ぼかしの間のギャップを解消し、ぼかし解除モデルの一般化性能を向上させること。
• ペairedなシャープ画像とぼやけた画像から、現実的なぼかし生成を学習する手法を開発し、訓練データと実世界データのドメインギャップを低減すること。
• ぼかし生成モデル（BGAN）とぼかし解除モデル（DBGAN）を同時に訓練することで、ぼかし解除の訓練に依存するのではなく、性能を向上させること。
• 実世界のぼやけた画像（RWBI）データセットを新規に作成し、現実的なぼかし解除モデルの訓練と評価を支援すること。
• ぼかしを学習することでぼかし解除の学習が向上することを示し、合成および実世界のベンチマークで最先端の性能を達成すること。

提案手法

• 未ペアのシャープ画像とぼやけた画像を用いて、BGAN（学習によるぼかしGAN）を訓練し、ランダムノイズを入力として、写真のようにリアルなぼやけた画像を生成する。
• BGANは、実際のぼやけた画像と合成されたぼやけた画像の差を最小化する相対的ぼかし損失を採用し、リアルさを向上させる。
• ぼやけた入力からシャープな画像を回復するDBGAN（学習によるぼかし解除GAN）を訓練し、実際のぼやけた画像とBGANが生成したぼやけた画像の両方を用いる。
• 完全な手法であるDBGAN(+)は、BGANから得られる追加の合成ぼやけた画像でぼかし解除モデルをファインチューニングし、耐性と性能を向上させる。
• BGANは、生成されたぼやけた画像が入力のシャープな画像の意味的コンテンツを保持するように、コンテンツ保持損失を用いて訓練される。
• 新規の実世界ぼやけた画像（RWBI）データセットを収集し、BGANの訓練および実世界シナリオにおけるぼかし解除性能の評価に使用する。

実験結果

リサーチクエスチョン

• RQ1 合成ぼやけた画像を用いてぼかし解除モデルを訓練した場合、実世界のぼやけた画像に対してより良い一般化性能を示すのか？
• RQ2 GANベースのぼやけた画像生成モジュール（BGAN）は、シャープな画像とランダムノイズから写真のようにリアルなぼやけた画像を生成するのにどの程度効果的か？
• RQ3 相対的ぼかし損失を組み込むことで、生成されたぼやけた画像のリアルさが向上し、結果としてぼかし解除モデルの性能が向上するのか？
• RQ4 ぼかしを学習することで、標準的なぼかし解除のみの訓練に比べて、ぼかし解除モデルの性能がどの程度向上するのか？
• RQ5 新たに収集された実世界ぼやけた画像データセット（RWBI）は、実際の条件下でのぼかし解除モデルの評価に信頼できるベンチマークとして機能するのか？

主な発見

• 提案手法のDBGAN(+)は、GOPRO_LargeデータセットでPSNR 31.10、SSIM 0.9424を達成し、すべての先行最先端手法を上回った。
• GOPROデータセットにおいて、前回の最先端手法（Gao et al.）と比較して、PSNRで0.18 dBの向上、SSIMで0.0003の向上を達成した。
• 新規に導入されたRWBIデータセットでは、特に複雑な実世界のぼかしシナリオにおいて、先行手法と比較して顕著に優れた視覚的品質と構造的忠実度を示した。
• アブレーションスタディの結果、BGANモジュールが性能向上に寄与していることが確認され、ぼかしを学習するコンponentを欠いたDBGAN(-)よりもDBGAN(+)が優れた性能を示した。
• 相対的ぼかし損失の使用により、よりリアルなぼやけた画像の生成が可能となり、その結果、ぼかし解除モデルが細部やテクスチャをよりよく回復できるようになった。
• 定性的な結果から、特に動きぼけや複雑なシーンにおいて、拡大されたパッチでより多くのテクスチャとエッジディティールを保持していることが示された。