[論文レビュー] GAN2GAN: Generative Noise Learning for Blind Denoising with Single Noisy Images

Sungmin Cha, Tae‐Eon Park+3 more|arXiv (Cornell University)|May 25, 2019

Image and Signal Denoising Methods参考文献 25被引用数 9

ひとこと要約

GAN2GANは、クリーンラベルやペairedなノイズ画像を一切必要としない、単一のノイズ画像からのブラインド画像ノイズ除去のための新しい生成的学習アプローチを提案する。Wasserstein GANを用いてノイズをモデル化し、初期の除ノイズ推定値を生成した後、N2Nスタイルの学習のためのノイズ付きペアを繰り返し合成し、最終的に教師あり手法やN2N手法と同等の最先端の性能を達成する。実世界のノイズ環境下でも同様の性能を発揮する。

ABSTRACT

We tackle a challenging blind image denoising problem, in which only single distinct noisy images are available for training a denoiser, and no information about noise is known, except for it being zero-mean, additive, and independent of the clean image. In such a setting, which often occurs in practice, it is not possible to train a denoiser with the standard discriminative training or with the recently developed Noise2Noise (N2N) training; the former requires the underlying clean image for the given noisy image, and the latter requires two independently realized noisy image pair for a clean image. To that end, we propose GAN2GAN (Generated-Artificial-Noise to Generated-Artificial-Noise) method that first learns a generative model that can 1) simulate the noise in the given noisy images and 2) generate a rough, noisy estimates of the clean images, then 3) iteratively trains a denoiser with subsequently synthesized noisy image pairs (as in N2N), obtained from the generative model. In results, we show the denoiser trained with our GAN2GAN achieves an impressive denoising performance on both synthetic and real-world datasets for the blind denoising setting; it almost approaches the performance of the standard discriminatively-trained or N2N-trained models that have more information than ours, and it significantly outperforms the recent baseline for the same setting, extit{e.g.}, Noise2Void, and a more conventional yet strong one, BM3D. The official code of our method is available at https://github.com/csm9493/GAN2GAN.

研究の動機と目的

• クリーン画像やペアドノイズ画像にアクセスできない状況下で、単一のノイズ画像からのブラインド画像ノイズ除去の課題に取り組む。
• クリーンターゲットや1枚あたり複数のノイズ画像を必要とする標準的な判別的学習やNoise2Noise（N2N）の制限を克服する。
• ゼロ平均、加法的、独立なノイズで、その分布が未知であるという最も現実的なブラインド設定下で動作する手法を開発する。
• ノイズやクリーンデータに関する事前知識が欠如しているにもかかわらず、教師ありまたはN2Nで訓練されたモデルと同等の高い除ノイズ性能を達成する。
• ノイズモデルが複雑で未知である実世界のノイズ（例：顕微鏡、CT）に対しても、効果的な除ノイズを可能にする。

提案手法

• 単一の与えられたノイズ画像に基づいて、Wasserstein GANを用いた生成モデルを訓練し、そこに存在するノイズを学習・シミュレートする。
• 生成モデルを用いて、ノイズ入力から粗い初期除ノイズ推定値（除ノイズ推定値）を生成する。
• 生成された除ノイズ画像を、学習済みのノイズで2度にわたってノイズ化することで、N2Nスタイル学習のための人工的なノイズ付きペアを合成する。
• 合成されたノイズ付きペアを用いて、N2Nの目的関数に従ってCNN除ノイズ器を訓練し、クリーンターゲットが不要な自己教師付き学習を可能にする。
• 生成モデルから得られる次第に高品質な除ノイズ推定値を用いて、繰り返し除ノイズ器を再訓練することで、性能を段階的に向上させる。
• 訓練の安定化と再構成品質の向上のため、ジェネレータにサイクル整合性損失とシグモイド活性化関数を適用する。

実験結果

リサーチクエスチョン

• RQ1 単一のノイズ画像にのみ学習させた生成モデルが、自己教師付き除ノイズに使用するための基礎となるノイズ分布を効果的にシミュレートできるか？
• RQ2 学習済みの生成モデルから得た人工的ノイズペアを用いて繰り返しN2N学習を行うことで、ブラインド設定下での除ノイズ性能が顕著に向上するか？
• RQ3 単一のノイズ画像しか利用できない状況下で、Noise2Void や BM3D などの自己教師付きベースラインと比較して GAN2GAN はどのように性能を発揮するか？
• RQ4 本手法は、標準的なブラインド除ノイズ器が失敗する相関的・非ガウス分布の複雑な実世界ノイズに対しても汎用性を示せるか？
• RQ5 生成モデルからの初期除ノイズ推定値は収束に不可欠であるか、それともノイズ入力から直接学習を開始できるか？

主な発見

• GAN2GANは、教師あり学習やN2N学習で訓練されたモデルと同等か、それ以上のPSNR性能を達成しているが、その監視情報ははるかに少ない。
• ホワイトガウスノイズを含む合成データセットでは、DnCNN-B や Noise2Void を上回り、BM3D と同等かそれ以上の性能を発揮する。
• 顕微鏡やCTなどの実世界ノイズ環境では、ホワイトガウス仮定に基づいて訓練された不一致なブラインド除ノイズ器を著しく上回る。
• G2G（GANから生成）ステップを繰り返し適用することで、除ノイズ器の性能が一貫して向上し、G2G3が最良の結果を達成する。
• GPU上では1枚あたり4msの推論時間で、BM3D（4.5～5.0秒）に比べてはるかに高速であり、実用的効率性が優れている。
• アブレーションスタディにより、ジェネレータにおけるシグモイド活性化関数とサイクル整合性損失が、高品質な初期除ノイズ推定値に不可欠であることが確認され、これが実世界ノイズ性能において極めて重要であることが示された。