[论文解读] Unsupervised Image Noise Modeling with Self-Consistent GAN

Hanshu Yan, Chen, Xuan+4 more|arXiv (Cornell University)|Jun 13, 2019

Image and Signal Denoising Methods参考文献 31被引用 12

一句话总结

本文提出自洽生成对抗网络（Self-Consistent GAN, SCGAN），一种无监督深度学习框架，可在无需干净-噪声图像对的情况下，从单张噪声图像中提取噪声图。通过施加三种自洽约束——干净输入一致性、纯噪声一致性与重建一致性，SCGAN 实现了有效的噪声建模，并支持盲去噪、雨痕去除与噪声图像超分辨率任务的端到端训练，性能可与全监督方法相媲美。

ABSTRACT

Noise modeling lies in the heart of many image processing tasks. However, existing deep learning methods for noise modeling generally require clean and noisy image pairs for model training; these image pairs are difficult to obtain in many realistic scenarios. To ameliorate this problem, we propose a self-consistent GAN (SCGAN), that can directly extract noise maps from noisy images, thus enabling unsupervised noise modeling. In particular, the SCGAN introduces three novel self-consistent constraints that are complementary to one another, viz.: the noise model should produce a zero response over a clean input; the noise model should return the same output when fed with a specific pure noise input; and the noise model also should re-extract a pure noise map if the map is added to a clean image. These three constraints are simple yet effective. They jointly facilitate unsupervised learning of a noise model for various noise types. To demonstrate its wide applicability, we deploy the SCGAN on three image processing tasks including blind image denoising, rain streak removal, and noisy image super-resolution. The results demonstrate the effectiveness and superiority of our method over the state-of-the-art methods on a variety of benchmark datasets, even though the noise types vary significantly and paired clean images are not available.

研究动机与目标

• 解决在缺乏干净-噪声图像对的情况下，无监督图像噪声建模的挑战。
• 克服因缺乏成对数据导致的 GAN 噪声建模中严重的数据稀缺与训练不稳定性问题。
• 开发一种可泛化于多种噪声类型的噪声建模框架，且无需事先了解噪声统计特性。
• 仅使用未配对的干净与噪声图像，实现盲去噪、雨痕去除与噪声图像超分辨率等下游任务的端到端训练。
• 首次通过学习的噪声建模实现无监督雨痕去除与噪声图像超分辨率。

提出的方法

• 提出一种自洽生成对抗网络（SCGAN）架构，其中生成器 G 从噪声图像中提取噪声图，并生成估计的干净图像。
• 引入三种新颖的自洽损失函数：干净一致性损失（G(J_c) ≈ 0）、纯噪声一致性损失（G(G(I_n)) ≈ G(I_n)）与重建一致性损失（G(J_c + G(I_n)) ≈ G(I_n)）。
• 通过对抗损失与三种自洽损失的组合训练生成器，以确保噪声提取的鲁棒性与稳定性。
• 利用提取的噪声图，通过将其添加到未配对的干净图像中，合成成对的训练数据，形成（噪声，干净）图像对。
• 将合成的成对数据用于端到端训练下游模型，实现盲去噪、雨痕去除与噪声图像超分辨率。
• 利用一致性约束稳定训练过程并提升泛化能力，即使在缺乏成对监督的情况下亦可实现。

实验结果

研究问题

• RQ1 深度生成模型能否在无任何成对干净数据的情况下，从单张噪声图像中提取有意义的噪声图？
• RQ2 自洽约束在多大程度上可提升 GAN 中无监督噪声建模的训练稳定性和性能？
• RQ3 通过 SCGAN 实现的无监督噪声建模在多大程度上可泛化于多种噪声类型与图像复原任务？
• RQ4 SCGAN 合成的成对数据能否使下游模型实现与全监督方法相当的性能？
• RQ5 仅通过噪声图提取与数据合成，是否可行实现无监督雨痕去除与噪声图像超分辨率？

主要发现

• SCGAN 成功从多种噪声类型的噪声图像中提取噪声图，即使在无任何成对训练数据的情况下亦可实现。
• 三种自洽损失显著提升了训练稳定性与噪声图质量，减少了伪影与背景相关噪声的误分类。
• 消融实验表明，结合全部三种自洽损失（Net-3）的模型生成的噪声图最为均匀准确，优于仅使用对抗损失或部分损失的模型。
• SCGAN 合成的成对数据使下游模型在盲去噪、雨痕去除与噪声图像超分辨率任务中达到与全监督模型相当的性能。
• 在盲去噪任务中，由于从合成图像块中随机裁剪了不同强度的噪声，该方法在不同噪声水平下均表现出良好的泛化能力。
• 在噪声图像超分辨率任务中，通过 SCGAN 实现的端到端训练避免了两阶段 Dn+SR 流水线中常见的噪声累积与细节丢失，从而获得更优结果。