[论文解读] Learning to Generate Realistic Noisy Images via Pixel-level Noise-aware Adversarial Training

Yuanhao Cai, Xiaowan Hu+4 more|arXiv (Cornell University)|Apr 6, 2022

Image and Signal Denoising Methods被引用 35

一句话总结

PNGAN 通过一个噪声感知的 GAN 框架生成真实的像素级有噪图像，以数据增强的方式提升真实去噪器的训练效果，在微调后在四个真实去噪基准上达到最先进的结果。

ABSTRACT

Existing deep learning real denoising methods require a large amount of noisy-clean image pairs for supervision. Nonetheless, capturing a real noisy-clean dataset is an unacceptable expensive and cumbersome procedure. To alleviate this problem, this work investigates how to generate realistic noisy images. Firstly, we formulate a simple yet reasonable noise model that treats each real noisy pixel as a random variable. This model splits the noisy image generation problem into two sub-problems: image domain alignment and noise domain alignment. Subsequently, we propose a novel framework, namely Pixel-level Noise-aware Generative Adversarial Network (PNGAN). PNGAN employs a pre-trained real denoiser to map the fake and real noisy images into a nearly noise-free solution space to perform image domain alignment. Simultaneously, PNGAN establishes a pixel-level adversarial training to conduct noise domain alignment. Additionally, for better noise fitting, we present an efficient architecture Simple Multi-scale Network (SMNet) as the generator. Qualitative validation shows that noise generated by PNGAN is highly similar to real noise in terms of intensity and distribution. Quantitative experiments demonstrate that a series of denoisers trained with the generated noisy images achieve state-of-the-art (SOTA) results on four real denoising benchmarks. Part of codes, pre-trained models, and results are available at https://github.com/caiyuanhao1998/PNGAN for comparisons.

研究动机与目标

• 通过生成真实的有噪图像来进行数据增强，减少对真实有噪-清晰对的依赖。
• 将真实相机噪声建模为像素级随机变量，以实现两个子问题：图像域对齐和噪声域对齐。
• 提出 PNGAN，在像素级对抗训练和轻量级生成器的帮助下拟合真实噪声分布。
• 证明使用 PNGAN 生成数据进行训练的去噪器在多个真实去噪基准上达到最先进的结果。

提出的方法

• 建立一个像素级的噪声模型，使每个有噪像素成为一个随机变量，并将生成过程分解为图像域对齐和噪声域对齐。
• 引入 Pixel-level Noise-aware Generative Adversarial Network (PNGAN)，利用一个预训练的真实去噪器，将有噪输入映射到近似清晰空间以实现图像域对齐。
• 使用像素级判别器来进行噪声域对齐，并引导生成器匹配真实噪声分布。
• 采用 Simple Multi-scale Network (SMNet) 作为生成器，以捕获丰富的多尺度自相关和噪声特征。
• 通过将去噪输出的 L1 损失、感知损失（基于 VGG）以及真实与伪有噪图像之间的相对对抗损失相结合来优化。

实验结果

研究问题

• RQ1 如何在像素级模型真实相机噪声，从而生成真实感的合成有噪图像？
• RQ2 是否可以通过像素级对抗训练让图像内容与噪声分布同时对齐到真实数据？
• RQ3 用 PNGAN 生成数据进行微调的去噪器在真实世界的有噪基准上是否达到具有竞争力或更优的性能？

主要发现

• PNGAN 显著降低了合成和真实有噪数据之间的领域差异，在 SIDD、DND、PolyU 和 Nam 数据集上，基于 MMD 的差距因不同噪声设置而约下降 64-75%。
• 用 PNGAN 生成数据进行微调的去噪器在四个真实基准（SIDD、DND、PolyU、Nam）上超越了现有最先进方法；在不同数据集上相较于此前最佳方法的提升包括 0.30–1.37 dB（例如 PolyU 和 Nam 上的提升，另外在 SIDD/DND 的对比中相对 MIRNet 提升约 0.34–0.35 dB）。
• PNGAN 生成的噪声，特别是在 CycleISP 基础设置下，在强度和分布上与真实噪声高度吻合，且有助于在基准之间更好的泛化。
• 从头开始用 PNGAN 生成数据训练的去噪器在某些合成设定下可接近或匹配使用真实数据训练的模型的性能。
• 消融研究表明 PNGAN 的组件（像素级判别器、基于 SMNet 的生成器、以及噪声感知损失）在提升去噪性能方面有效。