[論文レビュー] Learning to Generate Realistic Noisy Images via Pixel-level Noise-aware Adversarial Training

Yuanhao Cai, Xiaowan Hu+4 more|arXiv (Cornell University)|Apr 6, 2022

Image and Signal Denoising Methods被引用数 35

ひとこと要約

tldr: PNGANはノイズ対応GANフレームワークを用いてピクセルレベルのリアルなノイズ画像を生成し、実デノイザー用の訓練データを拡張。ファインチューニング後に4つの実デノイジング benchmarksで最先端の結果を達成。

ABSTRACT

Existing deep learning real denoising methods require a large amount of noisy-clean image pairs for supervision. Nonetheless, capturing a real noisy-clean dataset is an unacceptable expensive and cumbersome procedure. To alleviate this problem, this work investigates how to generate realistic noisy images. Firstly, we formulate a simple yet reasonable noise model that treats each real noisy pixel as a random variable. This model splits the noisy image generation problem into two sub-problems: image domain alignment and noise domain alignment. Subsequently, we propose a novel framework, namely Pixel-level Noise-aware Generative Adversarial Network (PNGAN). PNGAN employs a pre-trained real denoiser to map the fake and real noisy images into a nearly noise-free solution space to perform image domain alignment. Simultaneously, PNGAN establishes a pixel-level adversarial training to conduct noise domain alignment. Additionally, for better noise fitting, we present an efficient architecture Simple Multi-scale Network (SMNet) as the generator. Qualitative validation shows that noise generated by PNGAN is highly similar to real noise in terms of intensity and distribution. Quantitative experiments demonstrate that a series of denoisers trained with the generated noisy images achieve state-of-the-art (SOTA) results on four real denoising benchmarks. Part of codes, pre-trained models, and results are available at https://github.com/caiyuanhao1998/PNGAN for comparisons.

研究の動機と目的

• データ拡張のために現実的なノイズ画像を生成して、実際のノイズ-クリーンペアへの依存を減らす動機づけ。
• 実カメラノイズをピクセルレベルのランダム変数としてモデル化し、画像ドメイン整合とノイズドメイン整合という二つのサブ問題を可能にする。
• 実ノイズ分布に適合させるため、ピクセルレベルの対可能訓練と軽量なジェネレータを備えたPNGANを提案する。
• PNGAN生成データで学習したデノイザーが複数の実デノイジング評価で最先端の結果を達成することを示す。

提案手法

• 各ノイズ付きピクセルがランダム変数であるピクセルレベルのノイズモデルを定式化し、生成を画像ドメイン整合とノイズドメイン整合に分解する。
• Pixel-level Noise-aware Generative Adversarial Network (PNGAN)を導入し、事前学習済みの実デノイザーを用いてノイズ入力をほぼクリーンな空間へ写像し、画像ドメイン整合を図る。
• ノイズドメイン整合を行い、実ノイズ分布にジェネレータを合わせるよう指示するピクセルレベルの識別器を用いる。
• Simple Multi-scale Network (SMNet)をジェネレータとして使用し、豊富なマルチスケール自己相関とノイズ特性を捉える。
• デノイズ済み出力に対するL1損失、知覚損失（VGGベース）、実ノイズ画像と偽ノイズ画像間の相対的対向損失の組み合わせで最適化する。

実験結果

リサーチクエスチョン

• RQ1 現実のカメラノイズをピクセルレベルでモデル化して、現実的な合成ノイズ画像を可能にするにはどうするか？
• RQ2 ピクセルレベルの対向訓練は、画像内容とノイズ分布の双方を実データに整合させることができるか？
• RQ3 PNGAN生成データでファインチューニングしたデノイザーは、実世界のノイズベンチマークで競争力のあるまたは優れた性能を達成するか？

主な発見

• PNGANは合成ノイズデータと実ノイズデータ間のドメイン差を大幅に削減し、ノイズ設定に応じてSIDD、DND、PolyU、Namデータセット全体でMMDベースのギャップを約64〜75％低減する。
• PNGAN生成データでファインチューニングしたデノイザーは4つの実ベンチマーク（SIDD、DND、PolyU、Nam）で最先端手法を上回る。利得には、さまざまなデータセットで prior best methods より0.30〜1.37 dBの改善（例：PolyUとNamで0.30〜1.37 dB、SIDD/DNDでMIRNetより0.34〜0.35 dB）を含む。
• PNGAN生成ノイズは、CycleISPベースの設定で特に、強度と分布が実ノイズに近く、ベンチマーク間での一般化を支援する。
• PNGAN生成データでゼロからデノイザーを訓練すると、特にsynthetic setting2の下で実データで訓練したモデルの性能に近づくか同等になることがある。
• アブレーション研究は、ピクセルレベル識別器、SMNetベースのジェネレータ、ノイズ対応損失などのPNGANの要素がデノイジング性能向上に有効であることを示す。