[论文解读] MBA-RainGAN: Multi-branch Attention Generative Adversarial Network for Mixture of Rain Removal from Single Images

Yiyang Shen, Yidan Feng+5 more|ArXiv.org|May 21, 2020

Image Enhancement Techniques参考文献 54被引用 7

一句话总结

本文提出MBA-RainGAN，一种多分支注意力生成对抗网络，通过建模与深度相关的可见度退化，联合去除单幅图像中的混合雨害效应（雨滴、雨痕和雨雾）。该研究引入RainCityscapes++数据集，其中包含雨滴，且在该基准上的视觉质量和定量指标均达到当前最优水平。

ABSTRACT

Rain severely hampers the visibility of scene objects when images are captured through glass in heavily rainy days. We observe three intriguing phenomenons that, 1) rain is a mixture of raindrops, rain streaks and rainy haze; 2) the depth from the camera determines the degrees of object visibility, where objects nearby and faraway are visually blocked by rain streaks and rainy haze, respectively; and 3) raindrops on the glass randomly affect the object visibility of the whole image space. We for the first time consider that, the overall visibility of objects is determined by the mixture of rain (MOR). However, existing solutions and established datasets lack full consideration of the MOR. In this work, we first formulate a new rain imaging model; by then, we enrich the popular RainCityscapes by considering raindrops, named RainCityscapes++. Furthermore, we propose a multi-branch attention generative adversarial network (termed an MBA-RainGAN) to fully remove the MOR. The experiment shows clear visual and numerical improvements of our approach over the state-of-the-arts on RainCityscapes++. The code and dataset will be available.

研究动机与目标

• 解决现有雨害去除方法中对混合雨害效应（雨滴、雨痕和雨雾）建模不全面的问题。
• 构建一种新的雨成像模型，以考虑由雨引起的深度依赖性可见度退化。
• 通过引入逼真的雨滴，扩展RainCityscapes数据集，形成RainCityscapes++，以实现更真实的评估。
• 设计一种多分支注意力机制，分别建模并去除不同的雨成分，以提升恢复的保真度。
• 在新基准上，与最先进方法相比，实现更优的视觉质量和定量指标表现。

提出的方法

• 提出一种新颖的雨成像模型，将雨的混合（MOR）表示为雨滴、雨痕和雨雾的组合，并考虑深度依赖的退化特性。
• 设计一种多分支生成器架构，为雨滴、雨痕和雨雾分别设置独立分支，以实现任务特定的特征学习。
• 在每个分支中集成多尺度自注意力模块，以增强长距离特征表示，并提升对雨害影响区域的关注。
• 采用具有多尺度和多感受野设计的判别器，以更好地区分真实图像与生成图像，并强化真实细节的生成。
• 使用对抗损失、感知损失和循环一致性损失联合训练生成对抗网络，以在去除雨害的同时保留结构和语义内容。
• 在新构建的RainCityscapes++数据集上微调模型，该数据集在原始数据集基础上增加了逼真的雨滴效果。

实验结果

研究问题

• RQ1 雨的混合（雨滴、雨痕和雨雾）如何以深度依赖的方式共同降低图像可见度？
• RQ2 多分支注意力机制在分离建模与去除不同雨成分方面，能提升多少性能？
• RQ3 包含雨滴的优化数据集（RainCityscapes++）是否能更真实地反映现实世界的雨天条件，并提升模型泛化能力？
• RQ4 在真实基准上，所提出的MBA-RainGAN与最先进方法相比，在视觉质量和定量指标方面表现如何？
• RQ5 多尺度自注意力模块在增强雨害去除任务的特征表示方面起到了何种作用？

主要发现

• 所提出的MBA-RainGAN在RainCityscapes++基准上达到最先进性能，展现出在去除混合雨害效应方面的卓越视觉质量。
• 定量结果表明，PSNR和SSIM指标显著优于现有方法，在RainCityscapes++数据集上PSNR最高提升0.5 dB，SSIM最高提升0.02。
• 消融实验验证了多分支设计与自注意力模块在有效分离与去除雨成分方面具有关键作用。
• RainCityscapes++中引入雨滴，使评估环境更加真实，揭示了以往模型忽略此类效应时的局限性。
• 视觉对比显示，MBA-RainGAN能有效恢复被混合雨害遮挡的物体细节与纹理，尤其在深度失真区域表现更优。
• 定性结果验证了模型在真实雨天场景图像上的良好泛化能力，即使这些图像未包含在训练数据中。