[论文解读] DA-DRN: Degradation-Aware Deep Retinex Network for Low-Light Image Enhancement

Xinxu Wei, Xian-Shi Zhang+5 more|arXiv (Cornell University)|Oct 5, 2021

Image Enhancement Techniques参考文献 54被引用 5

一句话总结

本文提出DA-DRN，一种用于低光照图像增强的退化感知深度Retinex网络，可联合解决亮度增强、噪声抑制、色彩失真校正和细节保留问题。通过将退化感知模块（Degradation-Aware Module）集成到基于U-Net的分解网络中，该方法实现了端到端学习，在分解过程中恢复反射率，并利用感知损失增强光照，实现了7ms推理时间（600×400图像）的最先进性能。

ABSTRACT

Images obtained in real-world low-light conditions are not only low in brightness, but they also suffer from many other types of degradation, such as color distortion, unknown noise, detail loss and halo artifacts. In this paper, we propose a Degradation-Aware Deep Retinex Network (denoted as DA-DRN) for low-light image enhancement and tackle the above degradation. Based on Retinex Theory, the decomposition net in our model can decompose low-light images into reflectance and illumination maps and deal with the degradation in the reflectance during the decomposition phase directly. We propose a Degradation-Aware Module (DA Module) which can guide the training process of the decomposer and enable the decomposer to be a restorer during the training phase without additional computational cost in the test phase. DA Module can achieve the purpose of noise removal while preserving detail information into the illumination map as well as tackle color distortion and halo artifacts. We introduce Perceptual Loss to train the enhancement network to generate the brightness-improved illumination maps which are more consistent with human visual perception. We train and evaluate the performance of our proposed model over the LOL real-world and LOL synthetic datasets, and we also test our model over several other frequently used datasets without Ground-Truth (LIME, DICM, MEF and NPE datasets). We conduct extensive experiments to demonstrate that our approach achieves a promising effect with good rubustness and generalization and outperforms many other state-of-the-art methods qualitatively and quantitatively. Our method only takes 7 ms to process an image with 600x400 resolution on a TITAN Xp GPU.

研究动机与目标

• 解决低光照图像中同时存在的退化问题，包括噪声、色彩失真、细节丢失和光晕伪影。
• 通过在分解阶段直接集成退化感知机制，改进现有基于Retinex的方法，避免后期处理。
• 实现端到端学习，在抑制噪声的同时保留高频细节并校正色彩失衡。
• 在不牺牲性能的前提下实现快速推理速度，确保在真实场景中的实际部署能力。
• 通过可调超参数灵活调节色彩饱和度和噪声抑制程度，提升用户控制力与泛化能力。

提出的方法

• 提出一种退化感知（Degradation-Aware, DA）模块，指导基于U-Net的分解网络在训练过程中生成无噪声、色彩校正的反射率图，推理阶段无需额外计算开销。
• 基于Retinex理论，采用U-Net架构将低光照图像分解为反射率图与光照图，其中反射率图包含纹理与色彩信息，光照图表示亮度分布。
• 在增强阶段引入感知损失，使生成的光照图在视觉上更接近自然人眼感知。
• 结合总变差（TV）损失与均方误差（MSE）损失，并引入可调系数（λ_TV），以平衡色彩饱和度与噪声抑制效果。
• 在真实世界（LOL）和合成数据集上端到端联合训练模型，提升在不同退化水平下的鲁棒性。
• 通过避免后期去噪或色彩校正步骤，实现快速推理，600×400图像在TITAN Xp GPU上的延迟仅为7ms。

实验结果

研究问题

• RQ1 深度学习模型能否在无需后期处理的情况下，同时抑制噪声、校正色彩失真、保留细节并消除光晕伪影？
• RQ2 如何将退化感知机制直接嵌入基于Retinex网络的分解阶段，以提升模型鲁棒性与性能？
• RQ3 通过超参数调节能在多大程度上实现模型在不同噪声水平与退化类型的数据集上的泛化能力？
• RQ4 与PSNR等传统指标相比，感知损失是否能显著提升增强图像的视觉质量？
• RQ5 在真实世界与无参考数据集上，该方法在速度与性能方面相较于最先进方法表现如何？

主要发现

• 在LOL真实世界与合成数据集上，DA-DRN在全部四项色彩失真指标（DeltaE、色彩丰富度等）中表现最佳，优于现有方法。
• 在四个无参考数据集（LIME、DICM、MEF、NPE）上，DA-DRN在IL-NIQE、PIQE与噪声水平指标上均取得最低值，表明其图像质量更高且噪声抑制能力更强。
• 在TITAN Xp GPU上，DA-DRN对600×400图像的推理延迟仅为7ms，在对比的深度学习方法中速度排名第二，仅低于Zero-DCE。
• 通过调节λ_TV系数，DA-DRN可灵活控制色彩饱和度，避免过饱和或欠饱和，展现出对不同图像特性的强适应能力。
• 该方法表现出卓越的泛化能力：在高噪声真实世界数据集与低噪声合成数据集上均表现优异，而KinD或Zero-DCE等方法在某些数据类型上会失效。
• DA模块在分解阶段有效实现噪声去除与细节保留，且推理阶段无额外计算开销，使整个框架高效且实用。