[论文解读] NTGAN: Learning Blind Image Denoising without Clean Reference

Rui Zhao, Daniel Pak-Kong Lun+1 more|arXiv (Cornell University)|Sep 9, 2020

Image and Signal Denoising Methods参考文献 25被引用 3

一句话总结

NTGAN 提出了一种新颖的无监督图像去噪方法，通过将噪声去除建模为噪声迁移，实现从噪声图像中学习盲去噪能力。该方法在真实世界去噪基准上实现了最先进性能，且无需干净参考图像或合成噪声假设。

ABSTRACT

Recent studies on learning-based image denoising have achieved promising performance on various noise reduction tasks. Most of these deep denoisers are trained either under the supervision of clean references, or unsupervised on synthetic noise. The assumption with the synthetic noise leads to poor generalization when facing real photographs. To address this issue, we propose a novel deep unsupervised image-denoising method by regarding the noise reduction task as a special case of the noise transference task. Learning noise transference enables the network to acquire the denoising ability by only observing the corrupted samples. The results on real-world denoising benchmarks demonstrate that our proposed method achieves state-of-the-art performance on removing realistic noises, making it a potential solution to practical noise reduction problems.

研究动机与目标

• 为解决现有基于合成噪声训练的深度去噪网络在真实照片上泛化能力差的问题。
• 开发一种不依赖干净参考图像进行监督的无监督去噪方法。
• 通过将噪声迁移作为关键学习目标，使网络能够直接从噪声图像中学习去噪能力。
• 提升在真实世界噪声还原任务中的性能，尤其在缺乏干净数据的情况下。

提出的方法

• 该方法将图像去噪建模为噪声迁移任务，使网络学习将噪声从源图像转移到目标图像。
• 利用对抗性训练，以鼓励网络在迁移过程中生成逼真的噪声模式。
• 网络仅使用噪声图像作为输入，通过端到端方式训练，无需任何成对的干净数据。
• 应用噪声一致性损失，以确保转移后的噪声保留原始噪声的统计特性。
• 通过基于生成对抗网络（GAN）的目标进行优化，使生成图像与真实噪声图像难以区分。

实验结果

研究问题

• RQ1 深度网络是否能在不依赖任何干净参考图像的情况下，学习到有效的盲去噪能力？
• RQ2 噪声迁移能否作为去噪任务的自监督信号被有效利用？
• RQ3 仅从真实噪声图像中学习，是否能在真实世界噪声上实现比基于合成噪声训练更好的泛化能力？
• RQ4 在缺乏真实标签的情况下，对抗性训练是否能提升去噪输出的逼真度和质量？

主要发现

• NTGAN 在真实世界去噪基准上实现了最先进性能，优于依赖干净监督或合成噪声的现有方法。
• 该方法在真实照片上泛化良好，对训练中未见的多样化和复杂噪声模式表现出强鲁棒性。
• 通过学习噪声迁移，网络在无需任何干净图像监督的情况下获得了强大的去噪能力。
• 消融实验表明，噪声迁移目标对性能至关重要，若移除该组件，性能将显著下降。