[论文解读] Density-aware Single Image De-raining using a Multi-stream Dense Network

He Zhang, Vishal M. Patel|arXiv (Cornell University)|Feb 21, 2018

Image Enhancement Techniques参考文献 40被引用 95

一句话总结

DID-MDN 在单幅图像中联合估计雨密度并执行去雨，采用多流密集连接网络，在合成数据和真实数据上都达到最先进的结果。

ABSTRACT

Single image rain streak removal is an extremely challenging problem due to the presence of non-uniform rain densities in images. We present a novel density-aware multi-stream densely connected convolutional neural network-based algorithm, called DID-MDN, for joint rain density estimation and de-raining. The proposed method enables the network itself to automatically determine the rain-density information and then efficiently remove the corresponding rain-streaks guided by the estimated rain-density label. To better characterize rain-streaks with different scales and shapes, a multi-stream densely connected de-raining network is proposed which efficiently leverages features from different scales. Furthermore, a new dataset containing images with rain-density labels is created and used to train the proposed density-aware network. Extensive experiments on synthetic and real datasets demonstrate that the proposed method achieves significant improvements over the recent state-of-the-art methods. In addition, an ablation study is performed to demonstrate the improvements obtained by different modules in the proposed method. Code can be found at: https://github.com/hezhangsprinter

研究动机与目标

• 在单幅图像中对非均匀雨密度下实现鲁棒去雨的动机
• 引入一个密度感知框架，自动估计雨密度等级
• 开发一个多流密集连接网络以处理多样的雨丝尺度与形状
• 创建带有雨密度标签的合成数据集，用于训练密度感知组件
• 通过大量实验与消融研究展示相对于现有方法的改进

提出的方法

• 两阶段架构：残差感知的雨密度分类器与多流密集连接的去雨网络
• 残差分量 r = y - x 作为密度分类的特征，以产生鲁棒的密度标签
• 一个残差感知分类器估计雨密度（低/中/高），并通过两阶段协议（特征提取再分类）训练
• 三流密集连接网络（Dense1 7x7、Dense2 5x5、Dense3 3x3）在不同尺度捕捉雨丝；来自所有分支的特征被拼接用于雨丝估计
• 通过对密度标签图进行上采样并与多流特征拼接来融合密度信息，以估计雨残差
• 最终去雨使用估计的残差产生粗略输出，再通过额外卷积层进行细化
• 损失包括残差估计损失、去雨后图像重建损失，以及来自 VGG-16（relu1_2）的感知/特征损失

实验结果

研究问题

• RQ1 一个网络是否能够从单幅下雨图像自动推断雨密度并用其指导去雨？
• RQ2 多尺度密集连接是否提升在不同形状和大小雨丝上的去除效果？
• RQ3 引入基于残差的密度分类器是否改善对不同雨况的泛化？
• RQ4 密度引导方法与合成及真实数据上的最先进去雨方法相比如何？

主要发现

• DID-MDN 在合成数据集 Test1 和 Test2 上的 SSIM 和 PSNR 优于若干基线方法（例如 DSC、GMM、CNN、JORDER、DDN、JBO）
• 基于残差的密度分类器在雨密度估计上优于 VGG-16（Test1 的准确率 85.15% 对 73.32%）
• 一个带标签融合的密度感知多流密集连接网络，在去除雨丝的同时保留背景细节，优于单流和未融合的多尺度变体
• 在真实世界图像上，该方法有效去除多样的雨丝并在重雨、中雨、轻雨场景中保留细节
• 在消融实验中，标签融合和多流设计显著优于缺乏密度引导或使用较少流的配置
• 运行时具有竞争力，在 GPU 上平均约 0.3 秒/张 512x512 图像