[论文解读] Single Image Deraining using Scale-Aware Multi-Stage Recurrent Network

Ruoteng Li, Loong‐Fah Cheong+1 more|arXiv (Cornell University)|Dec 19, 2017

Image Enhancement Techniques参考文献 22被引用 28

一句话总结

本文提出了一种尺度感知的多阶段循环卷积神经网络用于单图像去雨，通过并行子网络处理不同大小和密度的雨痕，显著提升了在强降雨和雾霾效应下的性能。该方法在合成数据集和真实世界数据集上均优于当前最先进方法，通过显式建模特定尺度的雨特征实现性能提升。

ABSTRACT

Given a single input rainy image, our goal is to visually remove rain streaks and the veiling effect caused by scattering and transmission of rain streaks and rain droplets. We are particularly concerned with heavy rain, where rain streaks of various sizes and directions can overlap each other and the veiling effect reduces contrast severely. To achieve our goal, we introduce a scale-aware multi-stage convolutional neural network. Our main idea here is that different sizes of rain-streaks visually degrade the scene in different ways. Large nearby streaks obstruct larger regions and are likely to reflect specular highlights more prominently than smaller distant streaks. These different effects of different streaks have their own characteristics in their image features, and thus need to be treated differently. To realize this, we create parallel sub-networks that are trained and made aware of these different scales of rain streaks. To our knowledge, this idea of parallel sub-networks that treats the same class of objects according to their unique sub-classes is novel, particularly in the context of rain removal. To verify our idea, we conducted experiments on both synthetic and real images, and found that our method is effective and outperforms the state-of-the-art methods.

研究动机与目标

• 解决现有去雨方法在处理重雨中重叠、多尺度雨痕及大气雾霾效应时的局限性。
• 克服基于特征和基于学习的方法在处理密集、重叠的多尺寸、多密度雨痕时的效率低下问题。
• 开发一种深度学习架构，将雨痕视为基于尺度的子类别而非统一类别，以实现更精确和鲁棒的去雨。
• 通过同时去除雨痕和由雨滴光散射引起的雾状雾霾效应，提升雨天图像的可见度恢复。
• 在多样化数据集上验证该方法，包括具有不同雨况的合成数据和真实世界雨天图像，以证明其泛化能力和鲁棒性。

提出的方法

• 该方法采用多阶段、尺度感知的架构，包含多个并行子网络，每个子网络专门用于检测和去除特定尺寸范围的雨痕。
• 使用基于DenseNet的主干网络提取通用图像特征，随后将这些特征送入并行子网络进行特定尺度的处理。
• 每个子网络使用循环模块以建模雨痕模式中的时空依赖性，从而在多阶段中提升特征精炼效果。
• 网络在包含不同雨痕尺寸、密度及大气雾霾效应的合成数据集上进行端到端训练，这些雾霾效应通过自由空间光衰减模型（α(x) = exp(−βd(x)）生成。
• 通过基于场景深度 d(x) 和衰减因子 β 的深度依赖透射率 α，显式建模雾霾效应。
• 最终输出通过融合所有特定尺度子网络的预测结果，重建出干净图像，最大限度减少残留雨痕并保留清晰的物体边界。

实验结果

研究问题

• RQ1 多阶段、尺度感知的架构是否能提升在重雨图像中处理重叠、多尺度雨痕的去雨性能？
• RQ2 将雨痕按尺寸和密度划分为子类别，是否能带来更优的特征学习并减少类内竞争，相比统一处理方式？
• RQ3 所提方法是否能有效同时去除雨痕及由雨滴光散射引起的雾霾效应？
• RQ4 在特定尺度子网络中引入循环模块，是否能增强模型在多阶段中对去雨过程的特征精炼能力？
• RQ5 该方法在具有复杂、多变雨型的真实世界雨天图像上，其泛化能力达到何种程度？

主要发现

• 在包含多种尺寸和密度雨痕的 Rain12S 数据集上，所提方法在去除所有类型雨痕（包括密集和纤细雨痕）方面优于现有最先进方法。
• 在基于 COCO 的合成数据集（100 张图像）上，该方法在 PSNR、SSIM、VIF 和 FSIM 指标上均取得更优结果，证明其在多样化雨况下的强泛化能力。
• 在基于 BSD300 的合成雾霾效应数据集上，该方法成功恢复了清晰的背景，且未模糊物体边界，优于 JORDER 和 DetailsNet 等方法。
• 消融实验表明，使用三个并行循环模块可获得最佳性能，且随着模块数量从 0 增加到 3，PSNR 稳步提升。
• 在真实世界图像评估中，该方法能同时有效去除纤细和粗重雨痕，而 JORDER 和 DetailsNet 在极端雨痕厚度或纤细程度下均未能完全去除。
• 采用尺度感知、多阶段设计的网络在合成与真实雨天数据上的所有定量指标和定性对比中均达到最先进性能。