[論文レビュー] Handling noise in image deblurring via joint learning

Si Miao, Yongxin Zhu|arXiv (Cornell University)|Jan 27, 2020

Advanced Image Processing Techniques参考文献 21被引用数 4

ひとこと要約

本稿では、ノイズ付きの状況下でのブラインド画像のぼかし除去のための統合学習フレームワーク、NIDFを提案する。NIDFは、ノイズ除去ネットワークとぼかし除去ネットワークを段階的に接続し、同時に訓練することで、残留ノイズに起因するアーチファクトを顕著に低減し、ノイズレベル推定を必要とせず、重度のノイズに対しても高い耐性を示す。

ABSTRACT

Currently, many blind deblurring methods assume blurred images are noise-free and perform unsatisfactorily on the blurry images with noise. Unfortunately, noise is quite common in real scenes. A straightforward solution is to denoise images before deblurring them. However, even state-of-the-art denoisers cannot guarantee to remove noise entirely. Slight residual noise in the denoised images could cause significant artifacts in the deblurring stage. To tackle this problem, we propose a cascaded framework consisting of a denoiser subnetwork and a deblurring subnetwork. In contrast to previous methods, we train the two subnetworks jointly. Joint learning reduces the effect of the residual noise after denoising on deblurring, hence improves the robustness of deblurring to heavy noise. Moreover, our method is also helpful for blur kernel estimation. Experiments on the CelebA dataset and the GOPRO dataset show that our method performs favorably against several state-of-the-art methods.

研究の動機と目的

• 実世界のぼやけた画像はしばしばノイズによって汚染されており、これにより従来の手法の性能が著しく低下するという、ブラインド画像のぼかし除去における重要なギャップを解消する。
• ノイズ除去とぼかし除去を段階的に行う従来のパイプラインでは、ノイズ除去器からの残留ノイズがぼかし除去段階で深刻なリングアーチファクトを引き起こすという限界を克服する。
• 訓練および推論時に正確なノイズレベル推定を必要としないようにし、従来の手法における主要な実用的障壁を排除する。
• 特に高ノイズおよび複雑な運動ぼかしの状況下で、統合最適化を活用してぼかしカーネル推定の正確性を向上させる。
• 異なるノイズレベルに耐性を持つ統合的でエンドツーエンドで訓練可能なフレームワークを開発し、ノイズレベルごとに別々のモデルを用意する必要をなくす。

提案手法

• U-Netに類似したエンコーダ-デコーダアーキテクチャを用いた2つのサブネットワーク（ノイズ除去器：Net1、ぼかし除去ネットワーク：Net2）を段階的に接続したNIDFフレームワークを提案する。
• 両サブネットワークを、再構成誤差を両方の出力（ノイズ除去後およびぼかし除去後）に対して最小化する統合損失関数 $\mathcal{L}_{\text{joint}} = \mathcal{L}_{\text{denoiser}} + \mathcal{L}_{\text{deblurring}}$ を用いて同時に訓練する。
• 訓練中に混合ノイズレベル戦略を用い、明示的なノイズレベル入力を必要とせず、さまざまなノイズ強度に一般化可能であるようにする。
• 一部のGANベースのぼかし除去手法とは異なり、安定性を高めるために adversarial training を避けており、両段階ともL2損失に依存する。
• 段階的構造により、ノイズ除去器とぼかし除去ネットワークの独立した動作を可能とし、効率的な推論とモジュラーな最適化を実現する。
• ぼかし除去ネットワークはノイズのある入力では性能が著しく低下するが、ノイズ除去器はぼかしに対しては頑健であるという事実を活用し、段階的構造が効果的かつ効率的であることを示す。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去とぼかし除去サブネットワークの統合的トレーニングは、逐次処理と比較して、残留ノイズがぼかし除去性能に与える影響を軽減できるか？
• RQ2 特にノイズレベルが不明な状況下で、統合学習は重度のノイズ下でもぼかしカーネル推定の正確性を向上させるか？
• RQ3 ノイズレベル推定を推論時に必要とせず、複数のノイズレベルに一般化可能な単一のNIDFモデルを構築できるか？
• RQ4 さまざまなノイズレベル下で、NIDFはBM3D + SRN や DnCNN + SRN などの段階的パイプラインと比較して、性能に優れているか？
• RQ5 統合学習は、サブネットワークを独立してまたは分離してトレーニングする場合と比較して、PSNR、SSIM、およびカーネル類似度スコアを向上させるか？

主な発見

• ノイズレベル $\sigma = 40$ のCelebAデータセットでは、NIDFは28.64 dBのPSNRと0.8105のSSIMを達成し、次善の手法（BM3D + SRN）の26.02 dBおよび0.7092を顕著に上回った。
• GOPROデータセット（$\sigma = 30$）では、NIDFは25.98 dBのPSNRと0.7759のSSIMを達成し、最良のベースライン（BM3D + SRN）の25.32 dBおよび0.7646 SSIMを上回った。
• 統合学習なし（w/o JL）のNIDFは、完全なNIDFモデルよりも性能が劣っており、性能向上の鍵が統合最適化にあることを示している。
• CelebAでは、NIDFが0.6498のカーネル類似度を達成し、深刻なノイズ下でも、Panら[22]のような最先端手法をも上回った。これは、ぼかしカーネル推定の向上を示している。
• NIDFは段階的パイプラインより高速である：256×256の画像で0.15秒（PyTorch、Tesla M40）で実行可能であり、BM3Dの0.21秒およびSRNの6.51秒を上回る。効率性の向上が確認された。
• NIDFはノイズレベル推定を必要とせず、すべてのノイズレベルで強力な性能を維持するが、DnCNN や BM3D などの手法は、アーチファクトを避けるために正確なノイズレベル入力が必要である。