[论文解读] Spatial Attentive Single-Image Deraining with a High Quality Real Rain Dataset

Tianyu Wang, Xin Yang+4 more|arXiv (Cornell University)|Apr 2, 2019

Image Enhancement Techniques参考文献 46被引用 15

一句话总结

本文提出一种半自动方法，利用时间先验和人工监督，从视频序列中生成高质量的真实雨天/清晰图像对，构建了一个包含约29.5K对的大规模数据集。此外，提出了SPANet，一种空间注意力网络，通过局部到全局的特征学习去除雨痕，在真实世界去雨基准测试中达到最先进性能，PSNR为38.06，SSIM为0.9867。

ABSTRACT

Removing rain streaks from a single image has been drawing considerable attention as rain streaks can severely degrade the image quality and affect the performance of existing outdoor vision tasks. While recent CNN-based derainers have reported promising performances, deraining remains an open problem for two reasons. First, existing synthesized rain datasets have only limited realism, in terms of modeling real rain characteristics such as rain shape, direction and intensity. Second, there are no public benchmarks for quantitative comparisons on real rain images, which makes the current evaluation less objective. The core challenge is that real world rain/clean image pairs cannot be captured at the same time. In this paper, we address the single image rain removal problem in two ways. First, we propose a semi-automatic method that incorporates temporal priors and human supervision to generate a high-quality clean image from each input sequence of real rain images. Using this method, we construct a large-scale dataset of $\sim$$29.5K$ rain/rain-free image pairs that covers a wide range of natural rain scenes. Second, to better cover the stochastic distribution of real rain streaks, we propose a novel SPatial Attentive Network (SPANet) to remove rain streaks in a local-to-global manner. Extensive experiments demonstrate that our network performs favorably against the state-of-the-art deraining methods.

研究动机与目标

• 通过从视频序列中生成真实雨天/清晰图像对，解决单图像去雨任务中缺乏真实、高质量训练数据的问题。
• 克服合成数据集无法准确建模真实雨滴特征（如形状、方向、强度变化）的局限性。
• 为真实雨天图像的去雨方法提供定量评估基准，因为现有基准多依赖于合成数据或定性比较。
• 设计一种深度学习模型，能够处理单幅图像中雨痕的随机性和多样性外观。
• 通过在新构建的真实雨数据集上训练最先进模型，提升真实世界图像的去雨性能。

提出的方法

• 一种半自动方法利用时间先验——即雨滴不会在相同像素上持续存在——结合人工监督，从一系列真实雨天图像中重建出清晰图像。
• 该方法利用帧间像素强度波动，识别并重建清晰像素，从而形成高分辨率的雨天/清晰图像对。
• 提出一种新型SPANet架构，采用空间注意力模块（SAMs），通过水平和垂直邻域特征建模雨痕，再聚合非局部上下文信息。
• SPANet采用多尺度、共享权重的空间注意力机制，以局部到全局的方式增强雨痕去除的特征区分能力。
• 网络通过注意力损失进行训练，显式监督注意力图生成，提升对复杂雨痕模式的鲁棒性。
• 数据集基于来自多样化自然雨景的29.5K张高分辨率图像对构建，有助于提升去雨模型的泛化能力。

实验结果

研究问题

• RQ1 结合时间先验和人工监督的半自动方法能否从真实雨天视频序列中生成高质量的清晰图像？
• RQ2 在大规模真实雨天数据集上训练去雨模型，是否能相比合成数据集显著提升在真实世界雨天图像上的性能？
• RQ3 通过分层学习局部与全局上下文特征，空间注意力网络能否有效建模多样的雨痕外观？
• RQ4 注意力损失和共享权重注意力模块的引入，如何影响去雨网络的鲁棒性和性能？
• RQ5 所提出的数据集能否作为真实雨天图像去雨方法定量评估的可靠基准？

主要发现

• 所提出的SPANet在真实雨天测试集上达到38.06的PSNR和0.9867的SSIM，优于现有最先进方法。
• 在所提出的真实雨天数据集上微调现有去雨模型，显著提升了其在真实世界雨天图像上的性能，证明了该数据集在泛化能力方面的价值。
• 消融实验表明，共享权重空间注意力模块（B_f）性能最佳，表明空间模块间的相互依赖性有助于提升特征学习。
• 注意力损失监督至关重要，若移除（B_e），PSNR从38.06降至37.39，表明其在优化注意力图中的关键作用。
• 图12中的失败案例显示，极密集、类似雾霾的雨痕未被有效处理，表明当前数据集生成方法在薄雾条件下存在局限。
• 所提出的数据集使定量评估比以往方法更可靠，后者依赖于定性比较或合成基准。