[论文解读] Designing and Training of A Dual CNN for Image Denoising

Chunwei Tian, Yong Xu+4 more|arXiv (Cornell University)|Jul 8, 2020

Image and Signal Denoising Methods参考文献 51被引用 9

一句话总结

本文提出 DudeNet，一种具有稀疏机制的双卷积神经网络，通过提取全局与局部特征来提升图像去噪性能。通过多阶段架构——包括特征提取、增强、压缩和重建模块——实现对合成、盲去噪及真实世界噪声图像的最先进性能，且计算成本较低。

ABSTRACT

Deep convolutional neural networks (CNNs) for image denoising have recently attracted increasing research interest. However, plain networks cannot recover fine details for a complex task, such as real noisy images. In this paper, we propsoed a Dual denoising Network (DudeNet) to recover a clean image. Specifically, DudeNet consists of four modules: a feature extraction block, an enhancement block, a compression block, and a reconstruction block. The feature extraction block with a sparse machanism extracts global and local features via two sub-networks. The enhancement block gathers and fuses the global and local features to provide complementary information for the latter network. The compression block refines the extracted information and compresses the network. Finally, the reconstruction block is utilized to reconstruct a denoised image. The DudeNet has the following advantages: (1) The dual networks with a parse mechanism can extract complementary features to enhance the generalized ability of denoiser. (2) Fusing global and local features can extract salient features to recover fine details for complex noisy images. (3) A Small-size filter is used to reduce the complexity of denoiser. Extensive experiments demonstrate the superiority of DudeNet over existing current state-of-the-art denoising methods.

研究动机与目标

• 解决普通CNN在恢复复杂真实世界噪声图像中精细细节方面的局限性。
• 克服先前方法依赖手工设计先验或仅适用于特定噪声水平的不足。
• 提升盲去噪和真实噪声图像恢复任务中的泛化能力与鲁棒性。
• 通过小尺寸卷积核和压缩模块降低计算复杂度，同时保持高去噪性能。
• 开发一种统一架构，有效融合全局与局部特征，以增强细节恢复能力。

提出的方法

• 采用双分支网络架构与稀疏机制，从噪声图像中提取全局与局部特征。
• 使用特征提取模块（FEB），通过两个子网络捕捉多样化的特征表示。
• 应用增强模块（EB），采用两阶段机制融合全局与局部特征，实现互补信息整合。
• 引入压缩模块（CB），提炼并减少冗余特征，降低模型复杂度。
• 利用重建模块（RB），基于残差与噪声输入生成最终的干净图像。
• 采用小尺寸卷积核（如3×3），在不损失性能的前提下减少参数量与计算成本。

实验结果

研究问题

• RQ1 具有稀疏特征提取的双CNN是否能提升复杂去噪任务（如真实世界噪声与盲去噪）的泛化能力？
• RQ2 融合全局与局部特征在噪声图像中如何增强精细细节的恢复？
• RQ3 使用小卷积核与压缩模块在多大程度上可降低计算成本，同时保持高去噪精度？
• RQ4 在不同噪声类型下，DudeNet与最先进方法在PSNR与推理速度方面表现如何？
• RQ5 所提出的架构是否能在合成、盲去噪与真实噪声图像数据集之间实现良好泛化？

主要发现

• 在Canon 5D ISO=3200的真实噪声图像上，DudeNet的PSNR达到36.66 dB，比DnCNN高出1.86 dB。
• 在CBSD68数据集上，DudeNet-B在所有噪声水平（15–75）下均取得具有竞争力的结果，PSNR值始终接近或超过当前最先进水平。
• 对于1024×1024图像，DudeNet在GPU上仅需1.246秒即可完成推理，显著快于RED30（15.77秒）与MemNet（14.69秒）。
• 在Kodak24数据集ISO=3200下，DudeNet-B的PSNR达到36.70 dB，优于DnCNN（34.87 dB）与CSF（35.16 dB）。
• 模型在盲去噪任务中表现出色，对0至55的各类噪声水平均保持稳定性能。
• 采用小卷积核与压缩模块在保持高视觉质量与准确度的同时，显著降低了计算成本。