[论文解读] Dilated Deep Residual Network for Image Denoising

Tianyang Wang, Mingxuan Sun+1 more|arXiv (Cornell University)|Aug 18, 2017

Image and Signal Denoising Methods参考文献 6被引用 17

一句话总结

本文提出一种空洞残差卷积神经网络用于高斯图像去噪，通过使用空洞卷积扩展感受野，在参数更少、计算成本更低的情况下实现最先进性能。该方法利用残差学习和一个数学公式来计算感受野大小，实现高效特征捕捉而不增加网络深度。

ABSTRACT

Variations of deep neural networks such as convolutional neural network (CNN) have been successfully applied to image denoising. The goal is to automatically learn a mapping from a noisy image to a clean image given training data consisting of pairs of noisy and clean images. Most existing CNN models for image denoising have many layers. In such cases, the models involve a large amount of parameters and are computationally expensive to train. In this paper, we develop a dilated residual CNN for Gaussian image denoising. Compared with the recently proposed residual denoiser, our method can achieve comparable performance with less computational cost. Specifically, we enlarge receptive field by adopting dilated convolution in residual network, and the dilation factor is set to a certain value. We utilize appropriate zero padding to make the dimension of the output the same as the input. It has been proven that the expansion of receptive field can boost the CNN performance in image classification, and we further demonstrate that it can also lead to competitive performance for denoising problem. Moreover, we present a formula to calculate receptive field size when dilated convolution is incorporated. Thus, the change of receptive field can be interpreted mathematically. To validate the efficacy of our approach, we conduct extensive experiments for both gray and color image denoising with specific or randomized noise levels. Both of the quantitative measurements and the visual results of denoising are promising comparing with state-of-the-art baselines.

研究动机与目标

• 在保持高性能的同时降低基于深度CNN的图像去噪计算成本。
• 探索空洞卷积在图像去噪任务中扩展感受野的有效性。
• 开发一种可数学解释的空洞CNN中感受野大小计算方法。
• 证明浅层网络结合空洞卷积可达到与DnCNN等深层模型相当的性能。
• 在灰度和彩色图像上，针对特定和随机噪声水平验证该方法。

提出的方法

• 该模型采用残差学习框架，学习噪声图像与干净图像之间的残差映射。
• 使用固定膨胀因子（例如2）的空洞卷积来扩展感受野，而不增加网络深度。
• 在每个空洞卷积后应用批量归一化（BN）和ReLU，以稳定训练并引入非线性。
• 使用零填充以保持输入与输出的空间维度一致，确保与残差连接的兼容性。
• 推导出一个新公式，用于在使用空洞卷积时解析计算感受野大小。
• 网络在成对的噪声-干净图像数据集上端到端训练，并在BSD68数据集上对灰度和彩色图像进行评估。

实验结果

研究问题

• RQ1 空洞卷积是否能在不增加网络深度的情况下，有效扩展残差CNN在图像去噪中的感受野？
• RQ2 结合空洞卷积的浅层网络是否能达到与DnCNN等深层模型相当的去噪性能？
• RQ3 感受野大小如何影响去噪性能？是否可在空洞CNN中实现数学量化？
• RQ4 所提方法是否能在减少模型参数和推理成本的同时保持高性能？
• RQ5 该模型在灰度和彩色图像上，针对特定和随机噪声水平的表现如何？

主要发现

• 在BSD68灰度图像数据集上，σ=15时，该方法达到31.68 dB的PSNR，优于BM3D（31.08 dB），并匹配DnCNN（31.73 dB）。
• 在σ=25时，该方法在灰度图像上达到29.18 dB的PSNR，与DnCNN（29.23 dB）相当，尽管层数更少。
• 在σ=50的彩色图像上，该方法达到27.93 dB的PSNR，优于CBM3D（27.37 dB），并接近DnCNN（28.01 dB）。
• 由于参数更少且网络结构更浅，该模型的训练时间与显存占用显著低于DnCNN。
• 视觉结果表明，去噪输出在视觉上更接近干净图像，且对细微细节的保留更好。
• 空洞CNN中感受野大小的数学公式使网络容量的设计与解释更加精确。