[论文解读] A Coarse-to-Fine Multi-stream Hybrid Deraining Network for Single Image Deraining

Yanyan Wei, Zhao Zhang+3 more|arXiv (Cornell University)|Aug 28, 2019

Image Enhancement Techniques参考文献 42被引用 14

一句话总结

本文提出MH-DerainNet，一种从粗到精的多流混合去雨网络，采用双路径残差密集块以增强特征学习，并结合SSIM损失与感知损失以提升去雨效果。该方法在合成与真实雨天图像数据集上均实现了最先进性能，能够精确去除雨痕，同时保留图像细节与全局结构。

ABSTRACT

Single image deraining task is still a very challenging task due to its ill-posed nature in reality. Recently, researchers have tried to fix this issue by training the CNN-based end-to-end models, but they still cannot extract the negative rain streaks from rainy images precisely, which usually leads to an over de-rained or under de-rained result. To handle this issue, this paper proposes a new coarse-to-fine single image deraining framework termed Multi-stream Hybrid Deraining Network (shortly, MH-DerainNet). To obtain the negative rain streaks during training process more accurately, we present a new module named dual path residual dense block, i.e., Residual path and Dense path. The Residual path is used to reuse com-mon features from the previous layers while the Dense path can explore new features. In addition, to concatenate different scaled features, we also apply the idea of multi-stream with shortcuts between cascaded dual path residual dense block based streams. To obtain more distinct derained images, we combine the SSIM loss and perceptual loss to preserve the per-pixel similarity as well as preserving the global structures so that the deraining result is more accurate. Extensive experi-ments on both synthetic and real rainy images demonstrate that our MH-DerainNet can deliver significant improvements over several recent state-of-the-art methods.

研究动机与目标

• 为解决单图像去雨问题中雨痕难以去除且易出现过度或不足去雨的病态性质。
• 通过双路径残差密集块架构结合残差与密集连接，提升特征提取能力。
• 通过级联多流架构与捷径连接，增强多尺度特征融合。
• 结合SSIM损失与感知损失，以保持像素级相似性与全局图像结构。
• 在合成与真实雨天图像上，相比现有最先进方法，实现更优的去雨性能。

提出的方法

• 提出双路径残差密集块，结合残差路径用于特征复用与密集路径用于新特征学习。
• 采用级联双路径残差密集块的多流架构，通过捷径连接实现有效的多尺度特征融合。
• 应用从粗到精的训练策略，逐步从低分辨率到高分辨率特征优化去雨结果。
• 结合SSIM损失与感知损失，以保持去雨输出的结构一致性和感知质量。
• 在不同流之间使用跳跃连接，以保留并传播跨尺度与深度的特征。
• 采用混合损失函数端到端训练网络，以平衡像素级精度与感知真实感。

实验结果

研究问题

• RQ1 从粗到精的多流架构是否能提升单图像去雨中雨痕去除的精度？
• RQ2 双路径残差密集块的集成是否相比标准残差或密集块能提升特征表示能力？
• RQ3 结合SSIM与感知损失在多大程度上提升了去雨图像的感知质量与结构保真度？
• RQ4 与仅基于合成数据训练的基线方法相比，MH-DerainNet在真实世界雨天图像上的表现如何？
• RQ5 该多流、混合架构是否能更好地泛化于多样的雨型与图像内容？

主要发现

• MH-DerainNet在合成与真实雨天图像基准测试中，相比近期最先进去雨方法取得显著提升。
• SSIM与感知损失的结合使去雨图像具有更高的结构相似性与更优的视觉质量。
• 双路径残差密集块设计实现了更有效的特征学习，减少了过度或不足去雨的伪影。
• 结合捷径连接的多流架构提升了特征传播与多尺度表征能力。
• 模型在真实世界雨天图像上表现出强大的泛化能力，优于仅在合成数据上训练的方法。
• 定量结果表明，该方法在基准数据集上PSNR与SSIM得分均更优，证实了方法的有效性。