[論文レビュー] NTGAN: Learning Blind Image Denoising without Clean Reference

Rui Zhao, Daniel Pak-Kong Lun+1 more|arXiv (Cornell University)|Sep 9, 2020

Image and Signal Denoising Methods参考文献 25被引用数 3

ひとこと要約

NTGANは、ノイズ低減をノイズ転送として定式化することにより、汚れた画像からのみノイズ低減能力を習得する、画期的な教師なし画像ノイズ低減手法を提案する。この手法は、クリーンな参照画像や合成ノイズの仮定を必要とせず、実世界のノイズ低減ベンチマークで最先端の性能を達成する。

ABSTRACT

Recent studies on learning-based image denoising have achieved promising performance on various noise reduction tasks. Most of these deep denoisers are trained either under the supervision of clean references, or unsupervised on synthetic noise. The assumption with the synthetic noise leads to poor generalization when facing real photographs. To address this issue, we propose a novel deep unsupervised image-denoising method by regarding the noise reduction task as a special case of the noise transference task. Learning noise transference enables the network to acquire the denoising ability by only observing the corrupted samples. The results on real-world denoising benchmarks demonstrate that our proposed method achieves state-of-the-art performance on removing realistic noises, making it a potential solution to practical noise reduction problems.

研究の動機と目的

• 合成ノイズで訓練された既存のディープノイズ低減器が実写写真に応用された際の一般化性能の低さに対処すること。
• 教師付き学習にクリーンな参照画像を必要としない教師なしノイズ低減手法を開発すること。
• ノイズ転送を重要な学習目的として設定することで、ネットワークが汚れた画像から直接ノイズ低減能力を学習できるようにすること。
• クリーンデータが入手不可能な実世界のノイズ低減タスクにおける性能向上を図ること。

提案手法

• 本手法は、画像ノイズ低減をノイズ転送タスクとして定式化し、ネットワークがソース画像のノイズをターゲット画像に転送するように学習する。
• 生成対抗訓練（GAN）を活用して、転送プロセス中に現実的なノイズパターンを生成するよう促進する。
• ペaired clean data が一切不要なため、入力として汚れた画像のみを用いてエンドツーエンドでネットワークを訓練する。
• 転送されたノイズが元のノイズの統計的性質を保つように、ノイズ一貫性損失を適用する。
• 生成された画像が本物の汚い画像と区別できないようにするGANベースの目的関数により最適化を行う。

実験結果

リサーチクエスチョン

• RQ1 クリーンな参照画像が一切ない状況でも、ディープネットワークが効果的なブラインドノイズ低減を学習できるか？
• RQ2 ノイズ転送を自己教師信号として効果的に用いることができるか？
• RQ3 合成ノイズ学習とは対照的に、実際の汚い画像からのみ学習することで、実世界のノイズに対してより良い一般化性能が得られるか？
• RQ4 教師あり情報が欠如している状況でも、敵対的訓練が、出力の現実性と品質を向上させられるか？

主な発見

• NTGANは、クリーンな監視情報や合成ノイズに依存する既存手法よりも、実世界のノイズ低減ベンチマークで最先端の性能を達成する。
• 本手法は実写写真に非常にうまく一般化し、トレーニング時に見られなかった多様で複雑なノイズパターンに対しても、頑健であることが示された。
• ノイズ転送を学習することで、クリーン画像の監視なしに強力なノイズ低減能力を獲得した。
• アブレーションスタディの結果、ノイズ転送目的が性能に極めて重要であり、このコンponentを除外すると著しい性能低下が生じることが確認された。