[论文解读] DRD-Net: Detail-recovery Image Deraining via Context Aggregation Networks

Sen Deng, Mingqiang Wei+4 more|arXiv (Cornell University)|Aug 27, 2019

Image Enhancement Techniques参考文献 23被引用 14

一句话总结

DRD-Net 提出了一种用于单图像去雨的端到端深度学习框架，通过一种新颖的结构细节上下文聚合模块（SDCAB）和基于挤压-激励（SE）的雨残差网络，同时去除雨痕并恢复丢失的图像细节。该方法在合成数据集和真实世界数据集上均实现了最先进性能，有效保留了细微细节，并减少了模糊和色彩失真等伪影。

ABSTRACT

Image deraining is a fundamental, yet not well-solved problem in computer vision and graphics. The traditional image deraining approaches commonly behave ineffectively in medium and heavy rain removal, while the learning-based ones lead to image degradations such as the loss of image details, halo artifacts and/or color distortion. Unlike existing image deraining approaches that lack the detail-recovery mechanism, we propose an end-to-end detail-recovery image deraining network (termed a DRD-Net) for single images. We for the first time introduce two sub-networks with a comprehensive loss function which synergize to derain and recover the lost details caused by deraining. We have three key contributions. First, we present a rain residual network to remove rain streaks from the rainy images, which combines the squeeze-and-excitation (SE) operation with residual blocks to make full advantage of spatial contextual information. Second, we design a new connection style block, named structure detail context aggregation block (SDCAB), which aggregates context feature information and has a large reception field. Third, benefiting from the SDCAB, we construct a detail repair network to encourage the lost details to return for eliminating image degradations. We have validated our approach on four recognized datasets (three synthetic and one real-world). Both quantitative and qualitative comparisons show that our approach outperforms the state-of-the-art deraining methods in terms of the deraining robustness and detail accuracy. The source code has been available for public evaluation and use on GitHub.

研究动机与目标

• 解决单图像去雨过程中图像细节退化这一关键挑战，现有方法常导致纹理模糊或失真。
• 克服传统与基于学习的去雨方法在去雨过程中无法恢复丢失细节的局限性。
• 开发一种统一的端到端框架，联合执行去雨与细节恢复，以提升视觉保真度。
• 提出一种具有大感受野的新架构，以增强上下文建模能力，支持细节重建。
• 在合成与真实世界数据集上验证该方法，以证明其鲁棒性与泛化能力。

提出的方法

• 提出一种基于挤压-激励（SE）的雨残差网络，通过在相同卷积层内重新校准特征图，增强空间上下文建模能力。
• 设计一种具有大感受野的结构细节上下文聚合模块（SDCAB），用于聚合多尺度上下文特征，以提升细节恢复效果。
• 集成一个专用的细节修复网络，利用SDCAB提取的特征在去雨后重建丢失的图像细节。
• 采用综合损失函数，结合L1损失、感知损失与对抗损失，以平衡重建精度、纹理保留与真实感。
• 采用多阶段优化策略，对去雨与细节恢复任务进行联合监督，训练端到端的DRD-Net。
• 采用双分支网络设计：一个用于去雨（集成SE模块），另一个用于细节修复（使用SDCAB），实现协同优化。

实验结果

研究问题

• RQ1 基于深度学习的去雨网络能否有效恢复去雨过程中丢失的图像细节？
• RQ2 大感受野上下文聚合模块（SDCAB）的集成如何提升去雨图像中的细节恢复效果？
• RQ3 挤压-激励（SE）机制在提升雨痕去除效果的同时，对空间上下文的保留程度如何？
• RQ4 所提出的端到端框架是否在真实世界与合成数据集上的定量指标与视觉质量方面均优于现有最先进方法？
• RQ5 DRD-Net的去雨输出是否能被外部视觉API有效识别为‘有雨’图像，表明雨相关视觉线索得到成功保留？

主要发现

• 在Rain200H数据集上，DRD-Net的PSNR达到28.16，SSIM达到0.9201，优于所有基线方法，包括DAF-Net与RESCAN。
• 在Rain800数据集上，DRD-Net的PSNR为26.32，SSIM为0.9018，展现出在多样化雨型下的强大泛化能力。
• 消融实验表明，SDCAB模块显著提升性能，Rain200H数据集上PSNR从26.93（M=16, D=8+3）提升至28.16（M=64, D=16+3）。
• SE模块对性能提升有贡献，Rain200H数据集上PSNR从26.20（无SE）提升至28.16（含SE与SDCAB）。
• Google Vision API结果表明，DRD-Net在去雨图像中保留了可检测的雨相关特征，其置信度得分显著高于基线方法。
• 该方法在速度与性能之间取得良好平衡，Rain200H数据集上的推理时间为0.54秒——略慢于部分快速基线，但仍可接受于真实世界部署。