[论文解读] GRDN:Grouped Residual Dense Network for Real Image Denoising and GAN-based Real-world Noise Modeling

Dong-Wook Kim, Jae Ryun Chung+1 more|arXiv (Cornell University)|May 27, 2019

Image and Signal Denoising Methods参考文献 29被引用 13

一句话总结

本文提出GRDN，一种基于生成对抗网络（GAN）的现实世界噪声建模方法的分组残差密集网络，用于图像去噪。通过利用分组残差密集块和对抗性噪声合成，GRDN在NTIRE2019 sRGB基准上实现了最先进性能，PSNR达到39.93 dB，SSIM达到0.9736，优于先前方法。

ABSTRACT

Recent research on image denoising has progressed with the development of deep learning architectures, especially convolutional neural networks. However, real-world image denoising is still very challenging because it is not possible to obtain ideal pairs of ground-truth images and real-world noisy images. Owing to the recent release of benchmark datasets, the interest of the image denoising community is now moving toward the real-world denoising problem. In this paper, we propose a grouped residual dense network (GRDN), which is an extended and generalized architecture of the state-of-the-art residual dense network (RDN). The core part of RDN is defined as grouped residual dense block (GRDB) and used as a building module of GRDN. We experimentally show that the image denoising performance can be significantly improved by cascading GRDBs. In addition to the network architecture design, we also develop a new generative adversarial network-based real-world noise modeling method. We demonstrate the superiority of the proposed methods by achieving the highest score in terms of both the peak signal-to-noise ratio and the structural similarity in the NTIRE2019 Real Image Denoising Challenge - Track 2:sRGB.

研究动机与目标

• 解决由于缺乏成对的真实噪声图像与干净图像而导致的现实世界图像去噪挑战。
• 通过开发比传统统计模型更真实的噪声建模方法，改进基于深度学习的图像去噪性能。
• 设计一种新型网络架构GRDN，通过分层残差密集块增强特征学习与去噪性能。
• 证明结合GAN生成的合成噪声与真实数据可提升模型泛化能力。
• 在NTIRE2019真实图像去噪挑战赛 - Track 2:sRGB中实现最先进性能。

提出的方法

• 提出分组残差密集块（GRDB）作为基本单元，通过引入分组卷积扩展残差密集网络（RDN），以提升特征重用能力。
• 通过跳跃连接和注意力模块级联多个GRDB构建GRDN，以增强特征传播与学习能力。
• 开发一种条件式GAN噪声建模方法（cERGAN），从真实世界噪声图像中生成逼真的噪声块。
• 利用cERGAN从ChDB数据集中学习真实世界噪声的分布，以合成额外的训练数据。
• 通过结合真实ChDB数据与cERGAN及统计噪声模型生成的合成数据，训练GRDN模型，以提升鲁棒性。
• 通过cERGAN进行数据增强，以增加训练数据多样性，并提升在有限真实世界数据集规模下的泛化能力。

实验结果

研究问题

• RQ1 与现有基于CNN的方法相比，分组残差密集网络架构是否能显著提升现实世界图像去噪性能？
• RQ2 基于GAN的噪声建模是否能生成比传统统计模型（如高斯-泊松分布）更逼真的噪声模式，以用于图像去噪网络的训练？
• RQ3 将真实世界数据与GAN生成的合成噪声相结合，能在多大程度上提升模型的泛化能力和性能？
• RQ4 所提出的GRDN架构是否能在NTIRE2019等现实世界图像去噪基准测试中实现最先进结果？
• RQ5 所提出方法在真实世界数据上的性能与经典方法（如BM3D）及其他最先进学习型模型相比如何？

主要发现

• GRDN在NTIRE2019 sRGB测试集上实现了最高的PSNR（39.931743 dB）和SSIM（0.973589），在挑战赛中排名第一。
• 与第二名方法相比，PSNR高出0.05 dB，表明在真实世界去噪任务中具有明显的性能优势。
• 使用cERGAN生成的合成数据进行训练可提升模型收敛速度与性能稳定性，尤其在与真实数据结合时效果更显著。
• 仅使用cERGAN生成数据的PSNR为38.63 dB，低于仅使用真实ChDB数据训练的39.62 dB，表明真实数据仍至关重要。
• 将真实ChDB数据（90%）与cERGAN生成数据（5%）及统计建模数据（5%）结合，PSNR达到39.64 dB，略高于仅使用真实数据的基线结果。
• 消融实验表明，cERGAN-based噪声建模优于文献[10]中的统计噪声模型，体现在训练与推理阶段PSNR更高。