[论文解读] Deep Joint Rain Detection and Removal from a Single Image

Wenhan Yang, Robby T. Tan+4 more|arXiv (Cornell University)|Sep 25, 2016

Image Enhancement Techniques参考文献 37被引用 10

一句话总结

该论文提出了一种用于从单幅图像中联合检测与去除雨滴的深度学习框架，引入了一种新颖的区域依赖型雨滴模型，通过二值图显式检测雨痕，并对雨滴累积和重叠条纹进行建模。该方法采用具有上下文感受野扩张卷积的多任务网络与循环结构，逐步去除雨滴，在重度降雨和真实世界图像上实现了最先进性能，于具有挑战性的基准测试中PSNR提升超过1 dB。

ABSTRACT

In this paper, we address a rain removal problem from a single image, even in the presence of heavy rain and rain streak accumulation. Our core ideas lie in the new rain image models and a novel deep learning architecture. We first modify an existing model comprising a rain streak layer and a background layer, by adding a binary map that locates rain streak regions. Second, we create a new model consisting of a component representing rain streak accumulation (where individual streaks cannot be seen, and thus visually similar to mist or fog), and another component representing various shapes and directions of overlapping rain streaks, which usually happen in heavy rain. Based on the first model, we develop a multi-task deep learning architecture that learns the binary rain streak map, the appearance of rain streaks, and the clean background, which is our ultimate output. The additional binary map is critically beneficial, since its loss function can provide additional strong information to the network. To handle rain streak accumulation (again, a phenomenon visually similar to mist or fog) and various shapes and directions of overlapping rain streaks, we propose a recurrent rain detection and removal network that removes rain streaks and clears up the rain accumulation iteratively and progressively. In each recurrence of our method, a new contextualized dilated network is developed to exploit regional contextual information and outputs better representation for rain detection. The evaluation on real images, particularly on heavy rain, shows the effectiveness of our novel models and architecture, outperforming the state-of-the-art methods significantly. Our codes and data sets will be publicly available.

研究动机与目标

• 解决现有雨滴去除方法在纹理上过度平滑以及无法建模复杂雨现象（如累积与重叠条纹）的局限性。
• 开发一种统一的深度学习框架，联合检测雨滴区域并去除雨滴，利用检测图作为监督信号以提升重建质量。
• 对雨滴条纹累积（在视觉上类似于雾霾/薄雾）和多方向雨滴条纹进行建模，尤其在重度降雨情况下，以提升训练数据的真实性并增强模型泛化能力。
• 通过具有大感受野的上下文感知扩张卷积网络增强上下文理解，同时在保留局部细节的同时捕捉长距离依赖关系。
• 通过一种循环的雨滴检测与去除过程处理重度降雨的极端情况，逐步优化输出结果。

提出的方法

• 提出一种新型的区域依赖型雨滴图像模型，将图像分解为三个分量：雨痕二值图（指示可见条纹）、雨滴累积分量（建模类似薄雾的遮蔽效果）和背景层。
• 设计一种多任务深度神经网络，联合预测雨滴二值图、雨滴外观和干净背景，其中二值图提供强监督信号以引导去除过程。
• 采用上下文感知的扩张卷积网络，利用并行扩张卷积扩展感受野，并通过多尺度上下文信息丰富特征表示。
• 提出一种循环雨滴检测与去除网络，通过迭代方式逐步优化雨滴去除效果，有效清除重叠和密集条纹的同时保留图像细节。
• 在循环框架中集成去雾模块，以处理由雨滴累积引起的大气遮蔽效应，支持实现“去雨-去雾-再去雨”的级联流程，从而获得更优结果。
• 采用重建损失与雨滴掩码上的二元交叉熵损失联合训练网络，实现端到端优化。

实验结果

研究问题

• RQ1 深度学习模型能否比分离的检测与去除方法更有效地在单幅图像中联合检测与去除雨滴？
• RQ2 如何对重度降雨中雨滴条纹的累积与重叠条纹进行建模，以提升训练数据的真实性并增强网络泛化能力？
• RQ3 具有渐进式优化能力的循环结构在复杂、高密度雨滴场景中能在多大程度上提升雨滴去除性能？
• RQ4 具有大感受野的上下文感知扩张网络能否在保留局部图像细节的同时捕捉长距离上下文线索，从而实现更优的雨滴检测与去除？
• RQ5 在雨滴累积导致的大气遮蔽效应图像中，将去雾模块集成到雨滴去除流程中是否能提升性能？

主要发现

• 在Rain100H基准上，所提出的JORDER-R方法达到PSNR 23.45，显著优于此前最佳方法（JORDER）的22.15，提升超过1 dB。
• 在Rain12数据集上，JORDER实现PSNR 36.02与SSIM 0.96，超越所有先前方法，包括SRCNN与DSC。
• 循环结构（JORDER-R）在重度降雨图像上表现出显著优势，证明其在逐步清除密集与重叠雨痕方面的有效性。
• 该方法在非雨区有效保留了精细纹理与边缘，避免了先前方法中常见的过度平滑问题。
• JORDER-R-DEHAZE级联流程（先去雨、再去雾、最后再去雨）在同时存在雨滴与薄雾遮蔽的图像上取得了更优的视觉效果。
• 在GPU上，500×500图像的推理时间低于10秒，相较于先前最先进方法具有更高的计算效率。