[論文レビュー] Deep Motion Blur Removal Using Noisy/Blurry Image Pairs

Shuang Zhang, Ada Zhen+1 more|arXiv (Cornell University)|Nov 19, 2019

Advanced Image Processing Techniques参考文献 39被引用数 4

ひとこと要約

本論文は、2つの新規ネットワーク—DeblurRNN（逐次処理）およびDeblurMerger（並列処理）—を用いて、ノイジーで曇った画像ペアから動きぼかしを除去する深層学習フレームワークを提案する。両画像からの補完的情報を活用することで、合成データおよび実世界データの両方で、単一画像のぼかし除去およびバーストノイズ除去手法を上回る最先端の性能を達成する。

ABSTRACT

Removing spatially variant motion blur from a blurry image is a challenging problem as blur sources are complicated and difficult to model accurately. Recent progress in deep neural networks suggests that kernel free single image deblurring can be efficiently performed, but questions about deblurring performance persist. Thus, we propose to restore a sharp image by fusing a pair of noisy/blurry images captured in a burst. Two neural network structures, DeblurRNN and DeblurMerger, are presented to exploit the pair of images in a sequential manner or parallel manner. To boost the training, gradient loss, adversarial loss and spectral normalization are leveraged. The training dataset that consists of pairs of noisy/blurry images and the corresponding ground truth sharp image is synthesized based on the benchmark dataset GOPRO. We evaluated the trained networks on a variety of synthetic datasets and real image pairs. The results demonstrate that the proposed approach outperforms the state-of-the-art both qualitatively and quantitatively.

研究の動機と目的

• 空間的に変化する動きぼかしを単一画像から除去する課題に取り組むこと。これは不適切に定式化されており、正確にモデル化することが困難である。
• バースト撮影で得られたノイジーで曇った画像ペアの補完的情報を活用することで、ぼかし除去性能を向上させること。
• GOPROベンチマークに基づいて、ノイジーで曇った画像と正解のシャープな画像を含む実際的な合成データセットを構築すること。
• 定量的および定性的な指標の両面で、既存の単一画像ぼかし除去およびバーストノイズ除去手法を上回ること。

提案手法

• DeblurRNNは、まずノイジー画像をノイズ除去エンコーダ・デコーダで処理し、その後、隠れ状態を用いてRNNベースのアーキテクチャにより曇った画像のぼかし除去を逐次的にガイドする。
• DeblurMergerは、ノイジー画像および曇った画像のための並列エンコーダブランチを用い、中間層で特徴量を統合し、復元画像を再構築するデコーダに送る。
• 生成的対抗訓練をディスクライマーを用いて実施し、出力画像の知覚的品質を向上させ、アーチファクトを低減する。
• 勾配損失、スペクトル正規化、および知覚損失を用いて、訓練の安定化と再構築忠実度の向上を図る。
• GOPROのシャープな画像からバースト撮影をシミュレートし、動きぼかしとノイズを適用することで、正解のシャープな画像を含む実際的なノイジーで曇った画像ペアの合成データセットを生成する。
• L1損失、対抗損失、知覚損失の組み合わせを用いて、エンドツーエンドでネットワークを訓練し、ピxlsレベルの正確さと視覚的リアリズムの両方を最適化する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、ノイジーで曇った画像ペアを効果的に統合し、単一画像ぼかし除去よりもシャープでクリアな画像を生成できるか？
• RQ2 逐次処理（DeblurRNN）と並列特徴量統合（DeblurMerger）のどちらが、空間的に変化する動きぼかしに対して優れたぼかし除去性能を示すか？
• RQ3 正解のシャープな画像を含むノイジーで曇った画像ペアの合成データセットは、実世界データに対する優れた一般化性能を実現できるか？
• RQ4 PSNR、SSIM、および視覚的品質の観点から、本手法は最先端の単一画像ぼかし除去およびバーストノイズ除去手法と比較してどのように差をつけるか？

主な発見

• 提案されたDeblurRNNおよびDeblurMergerネットワークは、GOPRO2データセットにおいてPSNR（32.53）とSSIM（0.9561）を達成し、Noise2Noise（PSNR: 30.91、SSIM: 0.9252）を上回り、ノイズおよびぼかしの抑制性能に優れていることが示された。
• 大きなぼかしカーネルを含む合成データセットにおいて、DeblurRNNおよびDeblurMergerは、リリングアーチファクトや残存ぼかしに苦しむSRNおよびDeblurGANを上回った。
• カメラシェイクや動く物体を伴う実世界の状況では、本手法はHDR+ やRingabyらの手法が色の喪失やゴースト化を起こすのに対し、微細なディテールと色をよりよく保持した。
• ノイジー画像と曇った画像の両方を用いることで、単一画像ノイズ除去（例：Noise2Noise）と比較して顕著な性能向上が得られた。ノイジー画像は構造的事前知識を提供し、曇った画像は色とSNRの利点を提供する。
• 提案された合成データセットは、効果的な訓練を可能にし、ネットワークは実画像ペアに対しても良好に一般化されることを確認した。これにより、本手法の堅牢性が裏付けられた。