[论文解读] Dual Degradation Representation for Joint Deraining and Low-Light Enhancement in the Dark

Xin Lin, Jingtong Yue+4 more|arXiv (Cornell University)|May 6, 2023

Image Enhancement Techniques被引用 4

一句话总结

本文提出 $L^{2}RIRNet$，一种端到端的深度学习框架，能够在真实世界雨天和昏暗条件下联合执行低光照增强与去雨。通过采用成对退化特征向量提取网络（P-Net）分别建模明亮区域与昏暗区域的退化，并引入快速傅里叶-残差网络细节引导（FFR-DG）模块以捕捉纹理先验，该方法在合成数据集与真实世界数据集上均取得了最先进性能，在PSNR、SSIM与NIQE指标上优于级联方法与单任务方法。

ABSTRACT

Rain in the dark poses a significant challenge to deploying real-world applications such as autonomous driving, surveillance systems, and night photography. Existing low-light enhancement or deraining methods struggle to brighten low-light conditions and remove rain simultaneously. Additionally, cascade approaches like ``deraining followed by low-light enhancement'' or the reverse often result in problematic rain patterns or overly blurred and overexposed images. To address these challenges, we introduce an end-to-end model called L$^{2}$RIRNet, designed to manage both low-light enhancement and deraining in real-world settings. Our model features two main components: a Dual Degradation Representation Network (DDR-Net) and a Restoration Network. The DDR-Net independently learns degradation representations for luminance effects in dark areas and rain patterns in light areas, employing dual degradation loss to guide the training process. The Restoration Network restores the degraded image using a Fourier Detail Guidance (FDG) module, which leverages near-rainless detailed images, focusing on texture details in frequency and spatial domains to inform the restoration process. Furthermore, we contribute a dataset containing both synthetic and real-world low-light-rainy images. Extensive experiments demonstrate that our L$^{2}$RIRNet performs favorably against existing methods in both synthetic and complex real-world scenarios. All the code and dataset can be found in \url{https://github.com/linxin0/Low_light_rainy}.

研究动机与目标

• 解决现有单任务或级联方法难以有效处理的低光照雨天图像联合恢复挑战。
• 克服级联方法在低光照条件下导致的过曝、欠曝、残留雨痕或模糊等问题。
• 构建统一框架，以处理暗区与亮区中复杂的现实世界退化模式。
• 提出一种新型退化表征方式，利用对比学习捕捉低光照与明亮区域中不同的退化特征。
• 通过新型细节引导模块整合纹理与频域先验知识，提升图像恢复效果。

提出的方法

• 提出 $L^{2}RIRNet$，一种基于U-Net的端到端架构，由成对退化特征向量提取网络（P-Net）与恢复网络（R-Net）组成。
• P-Net使用共享编码器分别提取暗区与亮区的退化特征向量，并利用对比学习提升引导精度。
• 引入快速傅里叶-残差网络细节引导（FFR-DG）模块，通过通道间减法与拼接生成细节图像，保留纹理同时抑制雨痕与光照伪影。
• FFR-DG模块利用傅里叶变换融合空间域与频域特征，为R-Net提供鲁棒的先验信息。
• 在P-Net中采用双分支特征学习策略，以建模图像中异质的退化分布，提升恢复保真度。
• 在新构建的数据集中进行训练，该数据集结合了合成与真实世界的低光照雨天图像对，以提升泛化能力。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效同时解决低光照增强与去雨任务，超越级联或单任务方法？
• RQ2 分别对暗区与亮区建模退化特征，相较于单一统一表征，能否显著提升恢复性能？
• RQ3 在低光照雨天条件下，引入频域与空间细节先验在多大程度上增强图像恢复效果？
• RQ4 所提出的FFR-DG模块是否能显著提升纹理恢复效果，并减少模糊或残留雨痕等伪影？
• RQ5 该模型在合成与真实世界低光照雨天图像分布上的泛化能力如何？

主要发现

• $L^{2}RIRNet$ 在合成LLR数据集上取得最高PSNR（29.96 dB）与SSIM，显著优于所有基线方法与级联方法。
• 在真实世界LLR数据集上，$L^{2}RIRNet$ 的NIQE得分最低（13.881），表明其在感知质量方面优于其他方法。
• 消融实验表明，引入P-Net使PSNR相比单分支退化特征提取提升0.58 dB，证明双区域建模的价值。
• 与仅使用P-Net的变体相比，加入FFR-DG模块使PSNR提升0.84 dB，证明其在细节恢复中的关键作用。
• 即使在对SOTA模型（如MIRNet、RCDNet）于LLR数据集上微调后，$L^{2}RIRNet$ 在定量与定性评估中仍保持更优性能。
• 视觉结果证实，$L^{2}RIRNet$ 能有效去除雨痕，避免过曝或模糊，同时恢复暗区可见度——而级联方法常残留伪影。