[论文解读] Adaptive Dynamic Filtering Network for Image Denoising

Hao Shen, Zhong‐Qiu Zhao+1 more|arXiv (Cornell University)|Nov 22, 2022

Image and Signal Denoising Methods被引用 9

一句话总结

该论文提出 ADFNet，一种用于图像去噪的新型自适应动态滤波网络，通过空间增强核生成（SEKG）模块提升动态卷积在高频和多尺度特征学习中的表现。通过将动态卷积块（DCB）与多尺度动态卷积块（MDCB）结合多维特征融合（MFI）机制，ADFNet 在合成数据集和真实世界高斯噪声数据集上均实现了最先进性能，且计算成本极低。

ABSTRACT

In image denoising networks, feature scaling is widely used to enlarge the receptive field size and reduce computational costs. This practice, however, also leads to the loss of high-frequency information and fails to consider within-scale characteristics. Recently, dynamic convolution has exhibited powerful capabilities in processing high-frequency information (e.g., edges, corners, textures), but previous works lack sufficient spatial contextual information in filter generation. To alleviate these issues, we propose to employ dynamic convolution to improve the learning of high-frequency and multi-scale features. Specifically, we design a spatially enhanced kernel generation (SEKG) module to improve dynamic convolution, enabling the learning of spatial context information with a very low computational complexity. Based on the SEKG module, we propose a dynamic convolution block (DCB) and a multi-scale dynamic convolution block (MDCB). The former enhances the high-frequency information via dynamic convolution and preserves low-frequency information via skip connections. The latter utilizes shared adaptive dynamic kernels and the idea of dilated convolution to achieve efficient multi-scale feature extraction. The proposed multi-dimension feature integration (MFI) mechanism further fuses the multi-scale features, providing precise and contextually enriched feature representations. Finally, we build an efficient denoising network with the proposed DCB and MDCB, named ADFNet. It achieves better performance with low computational complexity on real-world and synthetic Gaussian noisy datasets. The source code is available at https://github.com/it-hao/ADFNet.

研究动机与目标

• 解决深度卷积神经网络中因特征缩放与下采样导致的图像去噪过程中高频细节丢失问题。
• 通过在核生成中引入空间上下文信息，改进动态卷积以提升高频特征学习能力。
• 通过共享自适应动态核与空洞卷积实现高效多尺度特征提取。
• 通过多维特征融合机制（MFI）实现多尺度特征的跨维融合，增强特征表示能力。
• 开发一种轻量化、高效且有效的去噪网络，在保持低计算复杂度的同时保留精细图像细节。

提出的方法

• 提出空间增强核生成（SEKG）模块，通过结合空间上下文提取与通道信息交互，以极低计算开销引导动态核生成。
• 引入动态卷积块（DCB），利用 SEKG 生成的核增强高频特征，同时通过跳跃连接保留低频内容。
• 设计多尺度动态卷积块（MDCB），通过共享自适应动态核与空洞卷积，高效捕获多尺度特征并减少参数量。
• 在动态卷积中采用深度可分离卷积，以保持效率并降低模型复杂度。
• 引入多维特征融合（MFI）机制，建模跨维依赖关系，实现多尺度特征的融合并丰富表示能力。
• 通过堆叠 DCB 与 MDCB 块并结合 MFI 构建 ADFNet 架构，实现端到端图像去噪学习，具备强大的特征表示能力。

实验结果

研究问题

• RQ1 能否有效将空间上下文信息融入动态核生成，以提升图像去噪中高频特征的学习能力？
• RQ2 如何使动态卷积同时保留图像的高频与低频细节？
• RQ3 共享自适应动态核与空洞卷积的结合是否能实现低计算成本下的高效多尺度特征提取？
• RQ4 多维特征融合机制是否能提升多尺度特征的融合效果并增强整体表示能力？
• RQ5 所提出的 ADFNet 是否能在合成与真实世界高斯噪声数据集上均实现优越的去噪性能，同时保持低 FLOPs 与参数量？

主要发现

• 在 Kodak24 数据集和 BSD68 数据集上，ADFNet 在噪声水平 σ=50 时分别取得 29.81 和 28.43 的 PSNR，优于基线模型。
• 消融实验表明，移除 DCB 或 MDCB 均导致 PSNR 显著下降，证实二者对性能的关键作用。
• MFI 机制提升了特征融合效果，移除后所有基准测试中均出现明显的 PSNR 下降。
• SEKG 模块通过融合空间与通道上下文信息，增强了核生成能力，相比标准卷积能更好地恢复高频细节。
• 可视化结果表明，DCB 与 MDCB 有效突出边缘与纹理，而 MFI 通过调制激活值改善了特征表示。
• 仅在解码器中部署 DCB 与 MDCB 的性能优于在编码器中部署，原因在于更清洁的特征空间中核生成更具鲁棒性。