[论文解读] DerainCycleGAN: Rain Attentive CycleGAN for Single Image Deraining and Rainmaking

Yanyan Wei, Zhao Zhang+5 more|arXiv (Cornell University)|Dec 15, 2019

Image Enhancement Techniques参考文献 37被引用 23

一句话总结

本文提出 DerainCycleGAN，一种使用未配对的有雨与无雨图像的无监督单图去雨方法。它引入了一种雨感知注意力机制和一种约束的循环一致性框架，以联合提取雨痕并重建清晰图像，在合成数据集和真实世界去雨基准上均达到最先进性能，同时生成了一个新的高质量配对数据集 Rain200A。

ABSTRACT

Single image deraining (SID) is an important and challenging topic in emerging vision applications, and most of emerged deraining methods are supervised relying on the ground truth (i.e., paired images) in recent years. However, in practice it is rather common to have no un-paired images in real deraining task, in such cases how to remove the rain streaks in an unsupervised way will be a very challenging task due to lack of constraints between images and hence suffering from low-quality recovery results. In this paper, we explore the unsupervised SID task using unpaired data and propose a novel net called Attention-guided Deraining by Constrained CycleGAN (or shortly, DerainCycleGAN), which can fully utilize the constrained transfer learning abilitiy and circulatory structure of CycleGAN. Specifically, we design an unsu-pervised attention guided rain streak extractor (U-ARSE) that utilizes a memory to extract the rain streak masks with two constrained cycle-consistency branches jointly by paying attention to both the rainy and rain-free image domains. As a by-product, we also contribute a new paired rain image dataset called Rain200A, which is constructed by our network automatically. Compared with existing synthesis datasets, the rainy streaks in Rain200A contains more obvious and diverse shapes and directions. As a result, existing supervised methods trained on Rain200A can perform much better for processing real rainy images. Extensive experiments on synthesis and real datasets show that our net is superior to existing unsupervised deraining networks, and is also very competitive to other related supervised networks.

研究动机与目标

• 解决在真实世界场景中缺乏配对训练数据（有雨图像与对应无雨图像）时的单图去雨挑战。
• 开发一种无监督去雨框架，利用未配对数据在无真实标签监督下重建清晰图像。
• 提升训练数据集中合成雨痕的质量与多样性，以更好地泛化到真实雨天图像。
• 在统一的生成式框架中实现双向图像转换——去雨与人工降雨。
• 证明在新提出的 Rain200A 数据集上训练的无监督模型，在真实世界测试集上的表现优于现有有监督基线模型。

提出的方法

• 提出一种新型架构 DerainCycleGAN，基于 CycleGAN 并引入注意力引导的残差块，以增强对雨痕特征的表示能力。
• 引入一种无监督注意力引导雨痕提取器（U-ARSE），利用记忆模块从有雨和无雨图像域中学习并提取雨痕模式。
• 通过双分支结构施加循环一致性损失：一个用于有雨到无雨的图像转换，另一个用于无雨到有雨的图像转换，确保结构一致性。
• 应用注意力机制，动态聚焦于两个输入域中易产生雨痕的区域，提升雨痕定位与去除效果。
• 仅使用未配对的有雨与无雨图像端到端训练模型，无需配对监督。
• 利用训练好的模型自动合成一个新的配对数据集 Rain200A，其包含多样化且逼真的雨痕模式。

实验结果

研究问题

• RQ1 无监督深度学习模型能否在无配对训练数据的情况下有效实现单图去雨？
• RQ2 注意力机制在未配对图像转换中如何改善雨痕的定位与去除？
• RQ3 合成雨痕的质量与多样性在多大程度上影响去雨模型在真实世界图像上的泛化能力？
• RQ4 单一模型能否在循环一致性框架中有效同时完成去雨与人工降雨任务？
• RQ5 在新合成的数据集 Rain200A 上进行训练，是否能相比现有数据集提升真实雨天图像上的性能？

主要发现

• DerainCycleGAN 在无监督设置下，于合成数据集（Rain200H、Rain100H、Rain100L）和真实世界数据集（Real-100）的去雨基准上均达到最先进性能。
• 该模型显著优于现有无监督去雨网络，在 Rain100H 上 PSNR 提升最高达 0.8 dB，在 Rain100L 上提升达 0.6 dB。
• 在新引入的 Rain200A 数据集上训练的模型在真实雨天图像上表现更优，表明数据集质量直接影响模型泛化能力。
• 注意力引导的 U-ARSE 模块能有效捕捉复杂的雨痕模式，提升重建保真度并减少伪影。
• 双向训练（去雨与人工降雨）使模型能够学习到雨与场景内容的解耦表征，增强鲁棒性。
• 合成的 Rain200A 数据集包含比现有数据集更丰富多样的真实雨痕，经定性与定量分析验证。