[论文解读] Deep Bilateral Retinex for Low-Light Image Enhancement

Jinxiu Liang, Yong Xu+4 more|arXiv (Cornell University)|Jul 4, 2020

Image Enhancement Techniques参考文献 50被引用 16

一句话总结

本文提出了一种用于低光照图像增强的深度双边Retinex方法，通过在双边空间中使用可变形卷积联合估计光照和噪声，显著提升了对空间变化测量噪声的鲁棒性。该方法通过统一的深度学习框架联合建模噪声与光照，并结合边缘感知损失和结构先验，在极端低光照条件下实现了最先进性能。

ABSTRACT

Low-light images, i.e. the images captured in low-light conditions, suffer from very poor visibility caused by low contrast, color distortion and significant measurement noise. Low-light image enhancement is about improving the visibility of low-light images. As the measurement noise in low-light images is usually significant yet complex with spatially-varying characteristic, how to handle the noise effectively is an important yet challenging problem in low-light image enhancement. Based on the Retinex decomposition of natural images, this paper proposes a deep learning method for low-light image enhancement with a particular focus on handling the measurement noise. The basic idea is to train a neural network to generate a set of pixel-wise operators for simultaneously predicting the noise and the illumination layer, where the operators are defined in the bilateral space. Such an integrated approach allows us to have an accurate prediction of the reflectance layer in the presence of significant spatially-varying measurement noise. Extensive experiments on several benchmark datasets have shown that the proposed method is very competitive to the state-of-the-art methods, and has significant advantage over others when processing images captured in extremely low lighting conditions.

研究动机与目标

• 为解决低光照图像中显著且空间变化的测量噪声问题，此类噪声会降低可见性并放大标准增强方法中的伪影。
• 通过联合估计反射率、光照和噪声层，而非分别处理，以改进基于Retinex的图像增强方法。
• 开发一种深度学习框架，利用双边空间表示建模光照与噪声之间的耦合关系。
• 在信噪比（SNR）极低、传统方法失效的极端低光照条件下，提升方法的鲁棒性。
• 通过显式学习噪声预测与光照估计并行进行，减少Retinex分解过程中的噪声放大。

提出的方法

• 该方法在双边空间中执行Retinex分解，将图像建模为 I = R ⊙ E + N，其中 R 为反射率，E 为光照，N 为测量噪声。
• 训练一个深度神经网络，使用定义在双边空间中的像素级算子，同时预测光照 E 和噪声 N。
• 采用可变形卷积学习空间自适应采样模式，相比固定或刚性感受野，能更好地区分噪声与纹理。
• 损失函数结合边缘感知梯度损失（ℓ_grad）、结构相似性（SSIM）损失，以及光照（ℒ_e）和噪声（ℒ_n）的正则化项，优先使用 ℓ1 范数以实现平滑性。
• 框架采用多尺度、指数窗口大小策略进行可变形卷积，15×15 感受野被确定为最优。
• 消融实验确认了 E 和 N 联合估计的必要性，且 ℓ1 正则化相比 ℓ2 在光照平滑性方面表现更优。

实验结果

研究问题

• RQ1 在双边空间中联合估计光照与噪声是否能提升对空间变化测量噪声的鲁棒性？
• RQ2 使用学习采样位置的可变形卷积与固定或刚性感受野相比，在区分噪声与纹理方面表现如何？
• RQ3 在Retinex分解过程中显式建模噪声是否优于后处理去噪或估计无噪声图像？
• RQ4 何种损失函数配置能在保留边缘、实现平滑光照的同时有效抑制噪声？
• RQ5 与最先进方法相比，该方法在极端低光照条件下的表现如何？

主要发现

• 在基准数据集上，该方法达到 PSNR 22.5156 dB 和 SSIM 0.7864，优于 DeepUPE 及其他最先进方法。
• 联合估计光照与噪声的结果显著优于估计无噪声图像 I−N 的方法，PSNR 提升达 1.47 dB。
• 使用 15×15 感受野的可变形卷积性能最佳，证明了自适应空间建模的重要性。
• 若移除梯度感知损失（ℓ_grad）或光照正则化（ℒ_e），将导致明显伪影和性能下降。
• 对光照使用 ℓ1 范数正则化比 ℓ2 更有效，能更好地保持平滑性并减少平坦区域的过拟合。
• 该方法在极端低光照条件下表现出优越性能，而其他方法则因噪声放大和细节恢复差而表现不佳。