[论文解读] DCANet: Dual Convolutional Neural Network with Attention for Image Blind Denoising

Wencong Wu, Guannan Lv+4 more|arXiv (Cornell University)|Apr 4, 2023

Image and Signal Denoising Methods被引用 4

一句话总结

本文提出DCANet，一种新颖的双卷积神经网络，结合空间与通道注意力模块，用于图像无监督去噪。该方法集成了噪声估计网络、用于互补特征学习的双分支CNN以及注意力机制，能有效抑制真实世界噪声，实现SOTA性能，并在参数量与性能之间取得良好权衡。

ABSTRACT

Noise removal of images is an essential preprocessing procedure for many computer vision tasks. Currently, many denoising models based on deep neural networks can perform well in removing the noise with known distributions (i.e. the additive Gaussian white noise). However eliminating real noise is still a very challenging task, since real-world noise often does not simply follow one single type of distribution, and the noise may spatially vary. In this paper, we present a new dual convolutional neural network (CNN) with attention for image blind denoising, named as the DCANet. To the best of our knowledge, the proposed DCANet is the first work that integrates both the dual CNN and attention mechanism for image denoising. The DCANet is composed of a noise estimation network, a spatial and channel attention module (SCAM), and a CNN with a dual structure. The noise estimation network is utilized to estimate the spatial distribution and the noise level in an image. The noisy image and its estimated noise are combined as the input of the SCAM, and a dual CNN contains two different branches is designed to learn the complementary features to obtain the denoised image. The experimental results have verified that the proposed DCANet can suppress both synthetic and real noise effectively. The code of DCANet is available at https://github.com/WenCongWu/DCANet.

研究动机与目标

• 解决真实世界图像去噪中的挑战，即噪声分布与强度未知且空间上变化。
• 克服现有基于深度神经网络（DNN）模型的局限性，这些模型针对特定噪声类型或强度进行训练，导致在实际场景中缺乏灵活性。
• 整合双分支CNN与空间-通道注意力机制，以增强特征学习能力并提升噪声抑制效果。
• 在模型复杂度与去噪性能之间实现平衡，以利于实际部署。
• 开发一种完全无监督的去噪模型，能够端到端估计噪声分布与强度，无需人工调参。

提出的方法

• 采用噪声估计网络，从输入的噪声图像中预测空间噪声分布与噪声强度。
• 设计空间与通道注意力模块（SCAM），对噪声图像与估计的噪声进行处理，以突出相关特征并抑制无关特征。
• 实现一个双卷积去噪网络，包含两个独立分支，从同一输入中学习互补特征，从而增强表征能力。
• 将噪声图像与估计的噪声输入SCAM，该模块随后引导双分支CNN重建干净图像。
• 使用感知损失与L1损失对整个网络进行端到端训练，以保留结构与纹理细节。
• 采用跳跃连接与残差学习策略，以稳定训练过程并改善特征传播。

实验结果

研究问题

• RQ1 与单分支模型相比，结合注意力机制的双分支CNN是否能显著提升无监督图像去噪性能？
• RQ2 将噪声估计网络与注意力机制、双分支学习相结合，是否能提升在真实世界噪声上的泛化能力？
• RQ3 在合成噪声与真实噪声数据集上，DCANet在PSNR、SSIM与FLOPs指标上与SOTA模型相比表现如何？
• RQ4 所提出的架构是否能在模型复杂度与去噪精度之间实现有利权衡？
• RQ5 在无监督去噪设置下，注意力机制是否能有效过滤噪声，同时保留图像细节？

主要发现

• DCANet在合成噪声与真实世界噪声数据集上均取得具有竞争力的PSNR与SSIM得分，优于多种SOTA模型，包括FFDNet、BUIFD与ADNet。
• 在真实噪声基准数据集（NTIRE2020）上，DCANet在彩色图像上达到0.258 dB的PSNR，在灰度图像上达到0.252 dB，展现出强大的鲁棒性。
• 尽管参数量仅为138.9万，DCANet的性能优于或与参数量显著更高的模型相当，如AirNet（8.9K参数）与VDN（7.8K参数）。
• 消融实验证实，双分支结构与注意力机制各自对性能有显著贡献，二者结合时效果最佳。
• 由于采用端到端噪声估计与自适应特征学习，该模型在不同噪声强度与类型（包括空间变化噪声）下均表现出良好泛化能力。
• DCANet的FLOPs为37.88 G，处于合理水平，表明其推理效率较高，且在计算成本相对较低的前提下保持了高性能。