[论文解读] Deep Retinex Decomposition for Low-Light Enhancement

Wei Chen, Wenjing Wang+2 more|arXiv (Cornell University)|Aug 14, 2018

Image Enhancement Techniques被引用 238

一句话总结

本论文提出 Retinex-Net，这是一个数据驱动的深度网络，能够联合将低光照图像分解为反射成分和照明分量，然后再增强照明，同时可选地对反射进行降噪，基于成对的真实 LOL 数据集和合成数据集进行训练。

ABSTRACT

Retinex model is an effective tool for low-light image enhancement. It assumes that observed images can be decomposed into the reflectance and illumination. Most existing Retinex-based methods have carefully designed hand-crafted constraints and parameters for this highly ill-posed decomposition, which may be limited by model capacity when applied in various scenes. In this paper, we collect a LOw-Light dataset (LOL) containing low/normal-light image pairs and propose a deep Retinex-Net learned on this dataset, including a Decom-Net for decomposition and an Enhance-Net for illumination adjustment. In the training process for Decom-Net, there is no ground truth of decomposed reflectance and illumination. The network is learned with only key constraints including the consistent reflectance shared by paired low/normal-light images, and the smoothness of illumination. Based on the decomposition, subsequent lightness enhancement is conducted on illumination by an enhancement network called Enhance-Net, and for joint denoising there is a denoising operation on reflectance. The Retinex-Net is end-to-end trainable, so that the learned decomposition is by nature good for lightness adjustment. Extensive experiments demonstrate that our method not only achieves visually pleasing quality for low-light enhancement but also provides a good representation of image decomposition.

研究动机与目标

• 在没有地面实测的反射/照明的情况下，介绍基于数据驱动的 Retinex 基分解用于低光增强。
• 学习一个 Decom-Net，利用成对的低光/正常光图像，在不同照明条件下提取一致的反射。
• 开发 Enhance-Net，以多尺度上下文调整照明，同时在需要时对反射进行降噪。
• 提供一个端到端可训练的框架，能够产生视感上令人满意的增强效果和有意义的分解表示。
• 构建并使用一个真实与合成的 LOL 数据集来支持低光增强的学习。

提出的方法

• Decom-Net 使用重建、不可变的反射以及结构感知的照明损失，从成对的低光/正常光图像中估计反射和照明。
• 结构感知平滑损失通过反射梯度对照明总变差（TV）进行加权，以保留结构。
• Enhance-Net 使用带有多尺度拼接的编码-解码器在全局和局部层面调整照明，并对反射进行降噪。
• 在重建过程中对反射实施降噪，以减轻暗部区域放大噪声。
• 训练是端到端的，初始阶段先分别训练 Decom-Net 和 Enhance-Net，然后再进行联合微调。

实验结果

研究问题

• RQ1 在没有地面实测分解的情况下，数据驱动的 Decom-Net 是否能够在成对的低光/正常光图像之间学习到一致的反射？
• RQ2 结构感知的照明平滑损失是否通过保留场景结构来改善照明图？
• RQ3 多尺度照明调整网络是否能够在增强过程中产生全局和局部照明变化的一致性？
• RQ4 对反射进行联合降噪是否能够改善最终的低光增强结果？
• RQ5 相较于最先进方法，该模型在真实与合成低光数据集上的性能如何？

主要发现

• 该方法产生视觉上令人满意的低光增强效果，并提供有意义的分解表示。
• Decom-Net 能在不同照明条件下提取潜在的一致反射，在暗部区域放大的噪声被反射捕获。
• 结构感知的类 TV 的照明损失在平滑照明的同时提升了对结构的保留。
• 多尺度照明调整在保持全局照明一致性的同时，定制局部分布。
• 对反射进行联合降噪可以提升边缘保留并在某些基线方法上降低噪声。
• Retinex-Net 在自然和合成数据集上，与 DeHZ、NPE、SRIE 和 LIME 相比，展示了有竞争力的定性结果。