[论文解读] Unpaired Deep Image Deraining Using Dual Contrastive Learning

Xiang Chen, Jinshan Pan+6 more|arXiv (Cornell University)|Sep 7, 2021

Image Enhancement Techniques被引用 15

一句话总结

本文提出 DCD-GAN，一种新颖的无配对深度图像去雨框架，通过在深度特征空间中引入双重对比学习，实现无需配对训练数据的去雨效果提升。通过结合双向翻译分支以生成对抗性样本对，以及对比引导分支以对齐相似特征并分离不相似特征，该方法在合成数据集和真实世界数据集上均达到最先进性能，优于现有无配对方法，并接近全监督模型的表现。

ABSTRACT

Learning single image deraining (SID) networks from an unpaired set of clean and rainy images is practical and valuable as acquiring paired real-world data is almost infeasible. However, without the paired data as the supervision, learning a SID network is challenging. Moreover, simply using existing unpaired learning methods (e.g., unpaired adversarial learning and cycle-consistency constraints) in the SID task is insufficient to learn the underlying relationship from rainy inputs to clean outputs as there exists significant domain gap between the rainy and clean images. In this paper, we develop an effective unpaired SID adversarial framework which explores mutual properties of the unpaired exemplars by a dual contrastive learning manner in a deep feature space, named as DCD-GAN. The proposed method mainly consists of two cooperative branches: Bidirectional Translation Branch (BTB) and Contrastive Guidance Branch (CGB). Specifically, BTB exploits full advantage of the circulatory architecture of adversarial consistency to generate abundant exemplar pairs and excavates latent feature distributions between two domains by equipping it with bidirectional mapping. Simultaneously, CGB implicitly constrains the embeddings of different exemplars in the deep feature space by encouraging the similar feature distributions closer while pushing the dissimilar further away, in order to better facilitate rain removal and help image restoration. Extensive experiments demonstrate that our method performs favorably against existing unpaired deraining approaches on both synthetic and real-world datasets, and generates comparable results against several fully-supervised or semi-supervised models.

研究动机与目标

• 为解决缺乏真实世界雨天图像与干净图像配对数据时的单图像去雨（SID）挑战。
• 通过在深度特征空间中学习雨天与干净图像之间的相互特征关系，缩小两者分布之间的域差距。
• 通过利用无配对的干净图像作为特征引导源，提升去雨性能。
• 增强去雨模型在下游视觉任务（如目标检测）中的跨域泛化能力与实际应用价值。

提出的方法

• 提出一种双分支对抗框架：双向翻译分支（BTB）通过循环一致性翻译生成多样化的样本对。
• 采用对比引导分支（CGB），利用对比学习在深度特征空间中拉近相似特征分布（如对应图像块）并推开不相似特征。
• 采用双重对比学习策略，在无配对监督条件下促进雨天与干净图像特征之间的互信息。
• 将真实世界雨天图像引入混合训练数据，以丰富负样本并提升模型鲁棒性。
• 结合对抗性一致性与对比正则化，协同稳定训练过程并增强特征解耦能力。
• 应用多尺度对比损失，对齐跨域的局部图像块级特征，提升细粒度恢复效果。

实验结果

研究问题

• RQ1 在深度特征空间中，对比学习能否有效弥合无配对雨天与干净图像之间的域差距，以实现图像去雨？
• RQ2 在无任何配对监督的情况下，能否有效利用无配对的干净图像作为去雨引导？
• RQ3 与标准的循环一致性或对抗性方法相比，双重对比学习是否能提升无配对去雨中的跨域泛化能力？
• RQ4 尽管缺乏配对数据，该方法能否实现与全监督模型相当的性能？

主要发现

• DCD-GAN 在无需任何配对训练数据的前提下，于合成数据集（如 Rain100L、Rain100B）和真实世界数据集（如 Test100、Test1200）上均达到最先进性能。
• 与 CycleGAN 和 DCLGAN 相比，该模型显著减少了雨痕并更好地保留了图像细节，这一结果在定性对比与 PSNR、SSIM 等定量指标中均得到验证。
• 在真实世界 Test100 数据集上，DCD-GAN 实现了 29.41 dB 的 PSNR 和 0.872 的 SSIM，优于现有无配对方法。
• 该方法提升了下游目标检测性能，Google Vision API 在去雨图像上显示出更高的识别置信度分数。
• DCD-GAN 输出图像中检测到雨天的平均置信度显著降低，表明其去雨效果有效。
• DCD-GAN 展现出强大的跨域泛化能力，在未见过的真实世界数据集上测试时无需微调即可保持高性能。