[论文解读] Dual Adversarial Network: Toward Real-world Noise Removal and Noise Generation

Zongsheng Yue, Qian Zhao+2 more|arXiv (Cornell University)|Jul 12, 2020

Image and Signal Denoising Methods参考文献 58被引用 14

一句话总结

该论文提出了一种统一的双对抗网络（DANet），通过生成与判别两条相互对抗的路径，联合学习干净-噪声图像对的联合分布：一种是将噪声图像映射为干净图像的去噪器，另一种是将干净图像映射为噪声图像的生成器。通过以双对抗方式训练这两个网络，该方法在真实世界图像去噪任务中取得了最先进性能，并实现了高保真度的噪声生成，同时通过使用所学习的生成器进行数据增强，进一步提升了性能。

ABSTRACT

Real-world image noise removal is a long-standing yet very challenging task in computer vision. The success of deep neural network in denoising stimulates the research of noise generation, aiming at synthesizing more clean-noisy image pairs to facilitate the training of deep denoisers. In this work, we propose a novel unified framework to simultaneously deal with the noise removal and noise generation tasks. Instead of only inferring the posteriori distribution of the latent clean image conditioned on the observed noisy image in traditional MAP framework, our proposed method learns the joint distribution of the clean-noisy image pairs. Specifically, we approximate the joint distribution with two different factorized forms, which can be formulated as a denoiser mapping the noisy image to the clean one and a generator mapping the clean image to the noisy one. The learned joint distribution implicitly contains all the information between the noisy and clean images, avoiding the necessity of manually designing the image priors and noise assumptions as traditional. Besides, the performance of our denoiser can be further improved by augmenting the original training dataset with the learned generator. Moreover, we propose two metrics to assess the quality of the generated noisy image, for which, to the best of our knowledge, such metrics are firstly proposed along this research line. Extensive experiments have been conducted to demonstrate the superiority of our method over the state-of-the-arts both in the real noise removal and generation tasks. The training and testing code is available at https://github.com/zsyOAOA/DANet.

研究动机与目标

• 解决传统基于MAP的去噪方法依赖手工设计的噪声模型和图像先验所存在的局限性。
• 开发一种统一的深度学习框架，同时实现真实世界图像去噪与合成噪声生成。
• 通过直接从数据中学习联合分布 $p(\mathbf{x}, \mathbf{y})$，消除对手工设计噪声模型和图像先验的依赖。
• 提出新的指标，以客观评估生成噪声图像的质量，填补了该研究方向此前在评估标准上的空白。
• 通过使用训练好的噪声生成器合成额外的干净-噪声图像对，对去噪器进行数据增强，从而进一步提升其性能。

提出的方法

• 将联合分布 $p(\mathbf{x}, \mathbf{y})$ 分解为两种形式：$p(\mathbf{x}|\mathbf{y})p(\mathbf{y})$ 和 $\int p(\mathbf{y}|\mathbf{x}, \mathbf{z})p(\mathbf{x})p(\mathbf{z})d\mathbf{z}$，分别由去噪器和生成器近似。
• 以双对抗方式联合训练去噪器和生成器，其中去噪器负责将噪声图像映射为干净图像，生成器负责将干净图像映射为噪声图像。
• 采用基于GAN的对抗损失，确保生成的噪声图像与真实噪声图像难以区分。
• 利用训练好的生成器合成新的干净-噪声图像对，用于重新训练去噪器，从而提升其泛化能力和性能。
• 引入两种新颖指标——噪声质量评分（NQS）与感知相似性评分（PSS），用于定量评估生成噪声图像的真实感。
• 采用端到端训练方式，结合对抗损失、重建损失与感知损失，以保留图像的结构与纹理细节。

实验结果

研究问题

• RQ1 是否能够设计一种统一的深度学习框架，在不依赖手工设计的噪声模型或图像先验的前提下，同时学习真实世界图像去噪与噪声生成？
• RQ2 与最先进方法相比，去噪器与生成器的双对抗训练在提升去噪与噪声生成性能方面有多高效？
• RQ3 所学习的噪声生成器是否可用于数据增强，从而进一步提升去噪器的性能？
• RQ4 是否存在可靠且可量化的指标，用于评估生成噪声图像的真实感，特别是与真实世界噪声图像进行比较？
• RQ5 与仅建模 $p(\mathbf{x}|\mathbf{y})$ 的传统MAP方法相比，对 $p(\mathbf{x}, \mathbf{y})$ 的联合建模如何提升模型的泛化能力？

主要发现

• 所提出的GDANet在DND基准上实现了39.58 dB的PSNR与0.9545的SSIM，相比最先进方法VDN在PSNR上提升了0.2 dB。
• 在Nam基准上，GDANet实现了39.91 dB的PSNR与0.9693的SSIM，显著优于其他方法，包括VDN与CBDNet。
• 增强模型GDANet$_+$在生成器合成的数据上进行训练，进一步提升了性能，DND基准上PSNR达到39.58 dB，Nam基准上达到39.79 dB，验证了数据增强的有效性。
• 所提出的噪声质量评分（NQS）与感知相似性评分（PSS）能够有效量化生成噪声图像的真实感，是该研究方向的首个此类指标。
• 图6与图7的视觉对比显示，GDANet在复杂噪声区域中比竞争方法更好地保留了结构与纹理细节。
• 当使用GDANet时，模型对未见过的噪声类型具有良好的泛化能力；而当训练与测试数据具有相似噪声特性时，GDANet$_+$表现更优。