[论文解读] Dual Residual Attention Network for Image Denoising

Wencong Wu, Shijie Liu+3 more|arXiv (Cornell University)|May 7, 2023

Image and Signal Denoising Methods被引用 5

一句话总结

本文提出了一种用于图像去噪的双路残差注意力网络（DRANet），采用两条并行分支——一条使用残差注意力模块（RABs），另一条使用混合空洞残差注意力模块（HDRABs）——以捕捉互补的局部与全局特征。通过整合跳跃连接、基于注意力的特征过滤以及空洞卷积，DRANet 在合成噪声和真实世界噪声下均实现了最先进性能，参数量更少，推理速度具有竞争力。

ABSTRACT

In image denoising, deep convolutional neural networks (CNNs) can obtain favorable performance on removing spatially invariant noise. However, many of these networks cannot perform well on removing the real noise (i.e. spatially variant noise) generated during image acquisition or transmission, which severely sets back their application in practical image denoising tasks. Instead of continuously increasing the network depth, many researchers have revealed that expanding the width of networks can also be a useful way to improve model performance. It also has been verified that feature filtering can promote the learning ability of the models. Therefore, in this paper, we propose a novel Dual-branch Residual Attention Network (DRANet) for image denoising, which has both the merits of a wide model architecture and attention-guided feature learning. The proposed DRANet includes two different parallel branches, which can capture complementary features to enhance the learning ability of the model. We designed a new residual attention block (RAB) and a novel hybrid dilated residual attention block (HDRAB) for the upper and the lower branches, respectively. The RAB and HDRAB can capture rich local features through multiple skip connections between different convolutional layers, and the unimportant features are dropped by the residual attention modules. Meanwhile, the long skip connections in each branch, and the global feature fusion between the two parallel branches can capture the global features as well. Moreover, the proposed DRANet uses downsampling operations and dilated convolutions to increase the size of the receptive field, which can enable DRANet to capture more image context information. Extensive experiments demonstrate that compared with other state-of-the-art denoising methods, our DRANet can produce competitive denoising performance both on synthetic and real-world noise removal.

研究动机与目标

• 解决现有深度卷积神经网络在处理空间变化（真实世界）噪声时的局限性，从而提升实际部署能力。
• 在不单纯增加网络深度的前提下，通过拓宽网络架构并增强特征学习能力，提升模型性能。
• 设计一种轻量化但强大的去噪网络，实现模型复杂度与去噪精度之间的平衡。
• 通过注意力机制与跳跃连接，实现有效的特征过滤与全局上下文捕捉。
• 在保持多样化噪声类型下高质量图像重建的同时，实现具有竞争力的推理速度。

提出的方法

• 设计一种双分支网络架构，包含两个独立的子网络：一个使用标准残差注意力模块（RABs），另一个使用混合空洞残差注意力模块（HDRABs）。
• 在每个 RAB 和 HDRAB 内部集成多条跳跃连接，以增强不同卷积层之间的梯度流动与特征学习能力。
• 在 RAB 和 HDRAB 中应用残差注意力模块，以在训练过程中抑制无关特征并突出显示信息量丰富的特征。
• 在每个分支内部使用长跳跃连接，以保留并传播深层中的高层表示。
• 通过拼接两个分支的特征实现全局特征融合，利用互补信息丰富最终的特征表示。
• 利用下采样与空洞卷积扩展感受野，在不显著增加参数量的前提下捕捉更广泛的图像上下文。

实验结果

研究问题

• RQ1 具有专用模块的双分支网络架构是否能提升在合成与真实世界图像去噪任务中的性能？
• RQ2 残差注意力与空洞卷积的结合在增强图像去噪的局部与全局特征学习方面有多高效？
• RQ3 与最先进方法相比，所提出的 DRANet 是否在模型复杂度、推理速度与去噪质量之间实现了更优的权衡？
• RQ4 注意力机制与跳跃连接在图像去噪网络中对特征过滤与表征学习的改善程度如何？
• RQ5 在真实世界去噪场景中，具有注意力机制的更窄但更深的架构是否能超越更深或更宽的模型？

主要发现

• DRANet 在合成与真实世界图像去噪基准测试中均取得了具有竞争力的 PSNR 与 SSIM 分数，优于许多最先进方法，包括 DnCNN-B、FFDNet 与 ADNet。
• 在 Set12 数据集、噪声水平为 25 的情况下，DRANet 的 PSNR 达到 32.45 dB，优于 DnCNN-B（32.31 dB）与 FFDNet（32.38 dB）。
• DRANet 在灰度图像上的参数量仅为 1,612K，显著少于 AINDNet（13,764K）与 AirNet（8,930K），同时保持了更优的性能。
• 推理速度评估显示，DRANet 在 1024×1024 彩色图像上仅需 1.061 秒，快于 BM3D 与 MCWNNM，且与 DnCNN-B 和 FFDNet 相当。
• 消融实验表明，双分支设计与注意力模块均对性能提升有显著贡献，其中 HDRAB 分支在真实世界噪声处理中尤为有效。
• 全局特征融合与长跳跃连接显著提升了模型在高噪声区域重建精细纹理与边缘的能力。