[论文解读] ContourletNet: A Generalized Rain Removal Architecture Using Multi-Direction Hierarchical Representation

Wei‐Ting Chen, Cheng-Che Tsai+4 more|arXiv (Cornell University)|Nov 25, 2021

Image Enhancement Techniques参考文献 36被引用 6

一句话总结

ContourletNet 提出了一种用于去雨的广义深度学习架构，该架构利用轮廓波变换（CT）将图像分解为多方向子带（MS）和语义子带（SS），从而实现对背景和雨痕的分层重建。通过引入具有反馈误差映射的多级子带判别器，该方法在中度和重度降雨场景下均实现了最先进（SOTA）的性能，在定量和定性评估中均优于现有方法。

ABSTRACT

Images acquired from rainy scenes usually suffer from bad visibility which may damage the performance of computer vision applications. The rainy scenarios can be categorized into two classes: moderate rain and heavy rain scenes. Moderate rain scene mainly consists of rain streaks while heavy rain scene contains both rain streaks and the veiling effect (similar to haze). Although existing methods have achieved excellent performance on these two cases individually, it still lacks a general architecture to address both heavy rain and moderate rain scenarios effectively. In this paper, we construct a hierarchical multi-direction representation network by using the contourlet transform (CT) to address both moderate rain and heavy rain scenarios. The CT divides the image into the multi-direction subbands (MS) and the semantic subband (SS). First, the rain streak information is retrieved to the MS based on the multi-orientation property of the CT. Second, a hierarchical architecture is proposed to reconstruct the background information including damaged semantic information and the veiling effect in the SS. Last, the multi-level subband discriminator with the feedback error map is proposed. By this module, all subbands can be well optimized. This is the first architecture that can address both of the two scenarios effectively. The code is available in https://github.com/cctakaet/ContourletNet-BMVC2021.

研究动机与目标

• 为解决现有去雨方法仅针对中度或重度降雨之一而优化，无法兼顾两者的问题。
• 开发一种统一的深度学习架构，能够有效处理中度降雨（仅雨痕）和重度降雨（雨痕 + 雾霾效应）两种情况。
• 通过利用多方向和分层特征表示，提升背景重建质量并减少残留雨痕。
• 通过引入具有反馈误差映射的多级子带判别器，优化各子带的训练过程。

提出的方法

• 利用轮廓波变换（CT）将输入图像分解为多方向子带（MS）和语义子带（SS），以捕捉方向性和多尺度特征。
• 设计分层恢复网络以重建语义子带（SS），同时处理语义内容损坏和重度降雨中的雾霾效应。
• 引入具有反馈误差映射的多级子带判别器，以抑制误差传播并独立优化每个子带。
• 使用轮廓波聚合组件和轮廓波预测器，以增强特征表示，并指导网络从 MS 中提取雨痕。
• 通过对抗性损失和感知损失进行端到端训练，以提升视觉质量和结构保真度。
• 将轮廓波变换作为主要特征提取机制，替代传统的卷积操作或其他变换（如 DWT 或拉普拉斯金字塔）。

实验结果

研究问题

• RQ1 是否能够通过统一的深度学习架构在不进行架构特化的情况下，有效处理中度和重度降雨场景？
• RQ2 通过轮廓波变换实现的分层多方向表示，如何提升雨痕去除和背景重建效果？
• RQ3 具有反馈误差映射的多级子带判别器对优化过程和残余误差抑制有何影响？
• RQ4 与其它特征提取方法（如卷积、DWT、拉普拉斯金字塔）相比，轮廓波变换在去雨性能上的表现如何？
• RQ5 轮廓波变换在去雨任务中，最优的分解层数是多少？

主要发现

• ContourletNet 在 Heavy Rain（Heavy）和 Rain100H 数据集上均取得最佳性能，PSNR 分别达到 25.45 和 31.44，优于所有基线方法。
• 消融实验表明，所有提出的组件——分层架构、反馈误差映射、多级判别器、轮廓波预测器和聚合组件——均对性能有显著贡献。
• 与 VConv、MConv、HL、LP 和 DWT 相比，使用轮廓波变换作为特征提取器可获得更优结果，在 Heavy 数据集上提升 4.0 dB，Rain100H 上提升 5.2 dB。
• 增加轮廓波变换的分解层数可进一步提升性能，在第 6 层时，PSNR 达到 25.50（Heavy）和 31.48（Rain100H）。
• 视觉对比显示，与 MSPFN、RCDNet 和 HRGAN 相比，ContourletNet 生成的结果更干净，残留雨痕更少，尤其在真实场景和夜间图像中表现更优。
• 该方法在多种降雨条件下具有良好的泛化能力，如在合成数据集和真实世界数据集上均表现出一致的高性能。