[论文解读] GAN2GAN: Generative Noise Learning for Blind Denoising with Single Noisy Images

Sungmin Cha, Tae‐Eon Park+3 more|arXiv (Cornell University)|May 25, 2019

Image and Signal Denoising Methods参考文献 25被引用 9

一句话总结

GAN2GAN 提出了一种新颖的生成式学习方法，仅使用单张噪声图像即可实现盲图像去噪，无需干净标签或成对的噪声图像。该方法训练一个Wasserstein GAN以建模噪声并生成初始去噪估计，随后通过迭代方式合成用于N2N风格训练的噪声图像对，实现了与监督方法及N2N方法相当的最先进性能，即使在真实世界噪声设置下也表现优异。

ABSTRACT

We tackle a challenging blind image denoising problem, in which only single distinct noisy images are available for training a denoiser, and no information about noise is known, except for it being zero-mean, additive, and independent of the clean image. In such a setting, which often occurs in practice, it is not possible to train a denoiser with the standard discriminative training or with the recently developed Noise2Noise (N2N) training; the former requires the underlying clean image for the given noisy image, and the latter requires two independently realized noisy image pair for a clean image. To that end, we propose GAN2GAN (Generated-Artificial-Noise to Generated-Artificial-Noise) method that first learns a generative model that can 1) simulate the noise in the given noisy images and 2) generate a rough, noisy estimates of the clean images, then 3) iteratively trains a denoiser with subsequently synthesized noisy image pairs (as in N2N), obtained from the generative model. In results, we show the denoiser trained with our GAN2GAN achieves an impressive denoising performance on both synthetic and real-world datasets for the blind denoising setting; it almost approaches the performance of the standard discriminatively-trained or N2N-trained models that have more information than ours, and it significantly outperforms the recent baseline for the same setting, extit{e.g.}, Noise2Void, and a more conventional yet strong one, BM3D. The official code of our method is available at https://github.com/csm9493/GAN2GAN.

研究动机与目标

• 解决仅能访问单张噪声图像而无法获取干净图像或成对噪声图像时的盲图像去噪挑战。
• 克服标准判别式训练方法及Noise2Noise（N2N）方法的局限性，后者需要干净目标或每张图像的多个噪声实现版本。
• 开发一种适用于最真实盲去噪场景的方法：零均值、加性、独立噪声，且噪声分布未知。
• 在缺乏关于噪声或干净数据先验信息的情况下，实现与监督模型或N2N训练模型相当的高去噪性能。
• 为真实世界噪声（如显微成像、CT）提供有效去噪方法，其中噪声模型复杂且未知。

提出的方法

• 训练一个基于Wasserstein GAN的生成模型，以学习并模拟单张给定噪声图像中的噪声。
• 利用该生成模型从噪声输入中生成粗糙的初始去噪图像（即去噪估计）。
• 通过两次对生成的去噪图像施加学习到的噪声，合成人工的噪声图像对，用于N2N风格学习的合成训练对。
• 使用合成的噪声对通过Noise2Noise（N2N）目标训练CNN去噪器，实现无需干净目标的自监督学习。
• 通过使用生成模型提供的逐步改进的去噪估计，迭代地优化去噪器，从而随时间推移持续提升性能。
• 在生成器中引入循环一致性损失和Sigmoid激活函数，以稳定训练并提升重建质量。

实验结果

研究问题

• RQ1 在单张噪声图像上训练的生成模型是否能有效模拟潜在的噪声分布，以用于自监督去噪？
• RQ2 使用从学习到的生成模型中合成的噪声图像对进行迭代N2N训练，是否能在盲去噪设置下显著提升去噪性能？
• RQ3 当仅有一张噪声图像时，GAN2GAN与自监督基线方法（如Noise2Void和BM3D）相比表现如何？
• RQ4 所提出的方法能否泛化至复杂的真实世界噪声（如相关性噪声、非高斯噪声），而标准盲去噪器在此类场景下会失效？
• RQ5 生成模型提供的初始去噪估计是否对收敛至关重要，还是可直接从噪声输入开始训练？

主要发现

• 尽管监督程度较低，GAN2GAN实现的PSNR性能几乎与标准判别式训练或N2N训练模型相当，甚至在某些情况下更优。
• 在具有白高斯噪声的合成数据集上，GAN2GAN优于DnCNN-B和Noise2Void，并与BM3D相当或更优。
• 对于真实世界噪声（如显微成像、CT），GAN2GAN显著优于基于白高斯假设训练的不匹配盲去噪器。
• 通过连续的G2G（GAN到生成）步骤对去噪器进行迭代优化，带来了持续的性能提升，其中G2G3达到最佳效果。
• 该方法在GPU上每张图像的推理时间仅需4ms，远快于BM3D的4.5–5.0秒，展现出强大的实际效率。
• 消融实验确认，生成器中的Sigmoid激活函数与循环一致性损失对生成高质量初始去噪估计至关重要，而此类估计对真实世界噪声性能尤为关键。