[论文解读] Fast Single Image Rain Removal via a Deep Decomposition-Composition Network

Siyuan Li, Wenqi Ren+3 more|arXiv (Cornell University)|Apr 8, 2018

Image Enhancement Techniques参考文献 25被引用 14

一句话总结

本文提出一种快速、端到端的深度分解-重构网络（DDC-Net），用于单张图像去雨。该方法通过一种新颖的双流架构，将有雨图像分解为干净背景层与雨层，并引入重构模块以提升分解质量。该方法在VGA图像上实现推理速度低于50ms，性能达到最先进水平，非常适合实时应用。

ABSTRACT

Rain effect in images typically is annoying for many multimedia and computer vision tasks. For removing rain effect from a single image, deep leaning techniques have been attracting considerable attentions. This paper designs a novel multi-task leaning architecture in an end-to-end manner to reduce the mapping range from input to output and boost the performance. Concretely, a decomposition net is built to split rain images into clean background and rain layers. Different from previous architectures, our model consists of, besides a component representing the desired clean image, an extra component for the rain layer. During the training phase, we further employ a composition structure to reproduce the input by the separated clean image and rain information for improving the quality of decomposition. Experimental results on both synthetic and real images are conducted to reveal the high-quality recovery by our design, and show its superiority over other state-of-the-art methods. Furthermore, our design is also applicable to other layer decomposition tasks like dust removal. More importantly, our method only requires about 50ms, significantly faster than the competitors, to process a testing image in VGA resolution on a GTX 1080 GPU, making it attractive for practical use.

研究动机与目标

• 解决单图像去雨的挑战，这对在恶劣天气条件下实现计算机视觉任务的鲁棒性能至关重要。
• 通过在网络架构中引入专门的雨层组件，克服雨层分解的病态性质。
• 通过端到端训练方案，结合重构网络从分离组件中重建输入图像，提升分解质量。
• 实现实时推理速度，以支持监控、自动驾驶和移动成像等实际应用中的部署。
• 展示对其他层分解任务（如窗户上的灰尘或污渍去除）的泛化能力。

提出的方法

• 设计一种深度分解-重构网络（DDC-Net），包含两个主要子网络：分解网络和重构网络。
• 分解网络显式预测干净背景和雨层，与以往仅预测干净图像的方法不同。
• 在训练过程中，重构网络使用混合函数Ψ(·,·)从预测的干净层和雨层重建原始有雨图像。
• 重构模块作为监督信号，提升分解过程的质量与一致性。
• 使用合成数据进行端到端训练，随后通过无配对真实数据进行微调，以提升泛化能力。
• 利用深度神经网络的高效性，在GTX 1080 GPU上实现每张VGA图像约50ms的推理速度。

实验结果

研究问题

• RQ1 一种显式同时建模干净背景和雨层的深度学习架构，是否能相比仅预测干净图像的方法，提升分解精度？
• RQ2 在训练过程中，引入一个从分离组件重构输入图像的重构网络，是否能提升分解质量？
• RQ3 在合成数据上预训练并使用无配对真实数据微调的模型，是否能有效泛化到真实世界有雨图像？
• RQ4 与现有SOTA去雨网络相比，该方法在推理速度上表现如何，特别是在实时应用中？
• RQ5 所提出的架构是否可泛化到其他层分解任务，如灰尘或水渍去除？

主要发现

• 所提出的DDC-Net在合成与真实世界有雨图像数据集上均达到SOTA性能，视觉质量与定量指标均优于GMM、JORDER、DDN和ID-CGAN等方法。
• 在真实世界图像上，DDC-Net能有效去除雨痕，同时保留细粒度细节（如耳塞线缆与面部纹理），避免过度平滑或色彩失真。
• 该方法显著减少了晕影伪影与色彩失真，而这些问题在ID-CGAN结果中较为常见。
• 在GTX 1080 GPU上，DDC-Net实现约50ms每张VGA图像的推理速度，比DDN快约五倍，远快于基于CPU的GMM。
• 模型在其他层分解任务上也表现出良好泛化能力，如图8所示，在窗户图像上有效去除了灰尘与水渍。
• 重构网络模块有助于提升分解质量，这一点由合成与真实数据上的重建损失及定性结果所证实。