[论文解读] An Effective Two-Branch Model-Based Deep Network for Single Image Deraining

Yinglong Wang, Dong Gong+5 more|arXiv (Cornell University)|May 14, 2019

Image Enhancement Techniques参考文献 43被引用 5

一句话总结

该论文提出AMPE-Net，一种双分支深度神经网络，显式建模单幅图像去雨中由累积雨滴引起的雨痕和霾样效应。通过将物理雨景图像模型与端到端学习相结合，该方法联合估计透射率（霾）和雨层参数，在合成数据集和真实世界数据集上均实现了最先进的客观指标与视觉质量表现。

ABSTRACT

Removing rain effects from an image is of importance for various applications such as autonomous driving, drone piloting, and photo editing. Conventional methods rely on some heuristics to handcraft various priors to remove or separate the rain effects from an image. Recent deep learning models are proposed to learn end-to-end methods to complete this task. However, they often fail to obtain satisfactory results in many realistic scenarios, especially when the observed images suffer from heavy rain. Heavy rain brings not only rain streaks but also haze-like effect caused by the accumulation of tiny raindrops. Different from the existing deep learning deraining methods that mainly focus on handling the rain streaks, we design a deep neural network by incorporating a physical raining image model. Specifically, in the proposed model, two branches are designed to handle both the rain streaks and haze-like effects. An additional submodule is jointly trained to finally refine the results, which give the model flexibility to control the strength of removing the mist. Extensive experiments on several datasets show that our method outperforms the state-of-the-art in both objective assessments and visual quality.

研究动机与目标

• 解决现有深度学习去雨方法在强降雨条件下无法处理密集雨滴引起的霾样效应的局限性。
• 通过将雨景图像建模为背景、透射率（霾）和雨层的组合，而非简单的残差加法，来提升去雨性能。
• 设计一种灵活的网络架构，可控制去霾强度，避免过亮或不自然的颜色偏移。
• 通过将物理先验融入可学习的深度神经网络框架，提升模型的鲁棒性与泛化能力。
• 在合成与真实世界雨景图像上均验证方法的有效性，包括模糊雨痕与色彩退化的情况。

提出的方法

• 提出一种新的物理雨景图像模型：$\mathbf{I} = \mathbf{T} \circ \mathbf{B} + \mathbf{R}$，其中$\mathbf{T}$用于建模因累积雨滴造成的透射损失（霾样效应），$\mathbf{B}$为干净背景，$\mathbf{R}$为雨痕层。
• 设计双分支网络（AMPE-Net），包含EstNet-T与EstNet-R，联合从输入雨景图像$\mathbf{I}$中估计透射率$\mathbf{T}$与雨层$\mathbf{R}$。
• 引入LocNet以预测强雨痕的位置图，引导$\mathbf{T}$与$\mathbf{R}$的估计，提升定位精度与特征学习能力。
• 使用包含SPP（空间金字塔池化）与可学习加权组合（$\alpha$）的优化模块（RefNet），控制去霾强度，防止过亮现象。
• 采用可逆损失函数进行网络训练，交替优化双分支单元，以更好地拟合物理模型。
• 使用$\mathcal{L}_1$与$\mathcal{L}_2$损失进行监督，其中$\mathcal{L}_2$在消融实验中对性能提升略有贡献。

实验结果

研究问题

• RQ1 建模由累积雨滴引起的霾样效应是否能显著提升强降雨条件下去雨性能？
• RQ2 将物理图像形成模型整合进深度学习框架，是否能比仅使用端到端学习获得更好的泛化能力与视觉质量？
• RQ3 双分支网络架构是否能比单分支或基于残差的方法更有效地联合估计透射率与雨层参数？
• RQ4 是否能够控制去雨结果中去霾强度，以避免过亮同时保持自然色彩？
• RQ5 引入位置引导网络（LocNet）是否能提升雨与霾参数估计的准确性？

主要发现

• AMPE-Net在合成数据集（Rain-I与Rain-II）和真实世界数据集上均达到最先进性能，在Rain-II数据集上PSNR为28.90，SSIM为0.853，优于以往最先进方法。
• 消融实验确认，LocNet（引导）与EstNet-T（透射率估计）为关键组件，其中移除EstNet-T导致性能下降最显著。
• 所提方法能有效去除雨痕与霾样效应，视觉对比显示其他方法残留雨痕或引入不自然色调。
• RefNet模块通过参数$\alpha$实现对去霾强度的灵活控制，使用户可在结果的真实感与清晰度之间取得平衡。
• 该模型在其他天气条件下也具有良好泛化能力：当在去霾数据上进行训练后，仅需极少修改即可成功处理真实世界霾景图像。
• 真实世界图像的视觉结果表明，AMPE-Net能保留细节与自然色彩（如水印文字保持浅色），避免了其他方法常见的过亮与块状伪影。