[论文解读] C2N: Practical Generative Noise Modeling for Real-World Denoising

Geonwoon Jang, Wooseok Lee+2 more|arXiv (Cornell University)|Feb 19, 2022

Image and Signal Denoising Methods被引用 7

一句话总结

C2N 提出了一种新颖的生成式噪声建模框架，通过显式建模信号无关和信号相关的噪声分量，在无需成对的干净-噪声图像的情况下，学习模拟复杂的真实世界图像噪声。在无配对数据上进行训练，C2N 生成的噪声图像具有高度真实性，使得传统去噪网络在 SIDD 和 DND 基准测试中显著优于当前最先进的无监督方法。

ABSTRACT

Learning-based image denoising methods have been bounded to situations where well-aligned noisy and clean images are given, or samples are synthesized from predetermined noise models, e.g., Gaussian. While recent generative noise modeling methods aim to simulate the unknown distribution of real-world noise, several limitations still exist. In a practical scenario, a noise generator should learn to simulate the general and complex noise distribution without using paired noisy and clean images. However, since existing methods are constructed on the unrealistic assumption of real-world noise, they tend to generate implausible patterns and cannot express complicated noise maps. Therefore, we introduce a Clean-to-Noisy image generation framework, namely C2N, to imitate complex real-world noise without using any paired examples. We construct the noise generator in C2N accordingly with each component of real-world noise characteristics to express a wide range of noise accurately. Combined with our C2N, conventional denoising CNNs can be trained to outperform existing unsupervised methods on challenging real-world benchmarks by a large margin.

研究动机与目标

• 解决真实世界图像去噪的挑战，即干净-噪声图像配对数据稀缺或不可用。
• 克服现有生成式噪声建模方法依赖不切实际假设或无法捕捉复杂噪声分布的局限性。
• 开发一种噪声生成器，能够在无需真实噪声图的情况下，准确建模信号相关性和空间相关性噪声特征。
• 仅使用无配对的干净图像和生成的噪声图像，实现有效去噪网络的训练。
• 通过将 C2N 噪声生成器与标准的 CNN 基去噪器结合，实现在无监督真实世界去噪任务中的最先进性能。

提出的方法

• 设计一个包含显式模块的噪声生成器，分别用于信号无关（G^I）和信号相关（G^D）噪声分量。
• 集成 1×1 和 3×3 卷积变换，以建模噪声的相关性和空间结构。
• 使用稳定损失（ℒ_stb）来稳定训练过程，而无需依赖手工设计的噪声公式。
• 在无配对的真实噪声图像和干净图像上，以自监督方式训练噪声生成器。
• 使用训练好的 C2N 生成器，从任意干净图像生成合成噪声图像。
• 在 SIDD 上预训练后，对目标数据集（如 DND）进行微调，以提升领域泛化能力。

实验结果

研究问题

• RQ1 生成式噪声模型是否能够在无成对干净-噪声数据的情况下，学习模拟复杂的真实世界噪声分布？
• RQ2 显式建模信号无关和信号相关噪声分量在提升噪声真实感方面有多有效？
• RQ3 C2N 框架在多大程度上使无监督去噪模型能够超越现有最先进方法在真实世界基准上的表现？
• RQ4 各个组件（如 1×1 和 3×3 卷积、稳定损失）在生成高保真噪声图中分别起到什么作用？
• RQ5 C2N 框架是否能够在无需从头开始重新训练的情况下，泛化到不同的真实世界噪声数据集？

主要发现

• C2N 生成的噪声图与真实世界噪声的分布高度一致，在对比方法中实现了最低的 KL 散度。
• 消融实验确认，C2N 的所有组件——G^I、G^D、1×1 和 3×3 卷积——对于建模复杂噪声模式均至关重要。
• 使用 C2N 训练的去噪器在 SIDD 基准测试中，即使使用的训练图像块数量远少于 UIDNet，也优于现有无监督方法。
• 将性能更强的 DIDN 去噪器与 C2N 结合，可实现与有监督模型相当的性能，证明了该框架与高容量网络的兼容性。
• 在 SIDD 上预训练后，对 DND 数据集进行微调，可提升性能，优于直接在 DND 上进行训练，表明具备领域自适应能力。
• 在 SIDD 上的定性结果表明，C2N 生成的噪声可使去噪效果和细节保留优于无监督基线方法，视觉质量接近有监督模型。