[论文解读] Joint Self-Attention and Scale-Aggregation for Self-Calibrated Deraining Network

Cong Wang, Yutong Wu+2 more|arXiv (Cornell University)|Aug 6, 2020

Image Enhancement Techniques参考文献 31被引用 7

一句话总结

本文提出JDNet，一种自校准去雨网络，通过将联合自注意力与尺度聚合模块结合自校准卷积，以增强单图像去雨任务中的特征表示能力。通过建模长距离空间依赖与通道间依赖，并适应多尺度特征，JDNet在合成数据集和真实世界数据集上均达到当前最优性能，PSNR与SSIM指标分别较之前方法提升最高达0.01与0.0091。

ABSTRACT

In the field of multimedia, single image deraining is a basic pre-processing work, which can greatly improve the visual effect of subsequent high-level tasks in rainy conditions. In this paper, we propose an effective algorithm, called JDNet, to solve the single image deraining problem and conduct the segmentation and detection task for applications. Specifically, considering the important information on multi-scale features, we propose a Scale-Aggregation module to learn the features with different scales. Simultaneously, Self-Attention module is introduced to match or outperform their convolutional counterparts, which allows the feature aggregation to adapt to each channel. Furthermore, to improve the basic convolutional feature transformation process of Convolutional Neural Networks (CNNs), Self-Calibrated convolution is applied to build long-range spatial and inter-channel dependencies around each spatial location that explicitly expand fields-of-view of each convolutional layer through internal communications and hence enriches the output features. By designing the Scale-Aggregation and Self-Attention modules with Self-Calibrated convolution skillfully, the proposed model has better deraining results both on real-world and synthetic datasets. Extensive experiments are conducted to demonstrate the superiority of our method compared with state-of-the-art methods. The source code will be available at \url{https://supercong94.wixsite.com/supercong94}.

研究动机与目标

• 为解决传统卷积神经网络在捕捉单图像去雨任务中长距离依赖与多尺度特征方面的局限性。
• 提升模型在真实世界雨天条件下（合成数据集难以泛化）的鲁棒性。
• 通过在自校准卷积框架中整合自注意力与尺度聚合机制，增强特征表示能力。
• 验证所提模型在语义分割与目标检测等高层视觉任务中的有效性。

提出的方法

• 引入尺度聚合模块，以在多个感受野范围内学习特征，提升多尺度特征表示能力。
• 采用成对自注意力模块，自适应地聚合空间位置间的特征，无需固定位置权重，实现内容感知的特征融合。
• 应用自校准卷积，通过内部特征交互显式扩展每层卷积的有效感受野。
• 将自注意力、尺度聚合与自校准卷积三者整合为统一网络架构，实现联合优化。
• 采用负SSIM损失函数，以在训练过程中更好地保留结构细节，提升感知质量。
• 在合成数据集（Rain100H）与真实世界去雨基准上验证模型性能，并通过消融实验分离各模块的贡献。

实验结果

研究问题

• RQ1 与标准CNN相比，联合自注意力与尺度聚合是否能提升单图像去雨任务中的特征表示能力？
• RQ2 自校准卷积如何增强去雨网络中的特征学习能力与鲁棒性？
• RQ3 注意力机制与多尺度模块的融合是否能提升模型在真实世界雨天图像上的泛化能力？
• RQ4 相较于MAE与MSE损失，负SSIM损失在优化去雨网络时是否更有效？
• RQ5 所提出的去雨模型能否作为高层视觉任务（如语义分割与目标检测）的优越预处理步骤？

主要发现

• 在Rain100H数据集上，JDNet取得30.0160的PSNR与0.9221的SSIM，较基线模型提升0.695 dB（PSNR）与0.0091（SSIM）。
• 消融实验证实，自校准卷积与自注意力模块各自独立提升性能，完整模型达到最优结果。
• 负SSIM损失在SSIM（0.9221）与PSNR（30.0160）指标上均表现最佳，证明其优于MAE与MSE损失。
• 在真实世界数据集上的视觉对比显示，JDNet能有效去除密集且不规则的雨痕，同时保留精细细节与纹理。
• 在语义分割与目标检测任务中，JDNet生成的去雨图像更清晰，预测结果优于当前SOTA去雨基线方法。
• 模型在真实世界条件下的泛化能力表现强劲，而其他方法在该场景下难以有效去除雨痕。