[论文解读] DALE : Dark Region-Aware Low-light Image Enhancement

Dokyeong Kwon, Guisik Kim+1 more|arXiv (Cornell University)|Aug 28, 2020

Image Enhancement Techniques参考文献 40被引用 10

一句话总结

本文提出DALE，一种暗区感知的低光照图像增强方法，通过基于超像素的视觉注意模块，仅选择性增强暗区，同时保持明亮区域的亮度和色彩。通过合成局部光照的超像素进行训练，DALE在定量指标和视觉质量方面均达到最先进水平，在亮度保持和细节恢复方面优于现有方法。

ABSTRACT

In this paper, we present a novel low-light image enhancement method called dark region-aware low-light image enhancement (DALE), where dark regions are accurately recognized by the proposed visual attention module and their brightness are intensively enhanced. Our method can estimate the visual attention in an efficient manner using super-pixels without any complicated process. Thus, the method can preserve the color, tone, and brightness of original images and prevents normally illuminated areas of the images from being saturated and distorted. Experimental results show that our method accurately identifies dark regions via the proposed visual attention, and qualitatively and quantitatively outperforms state-of-the-art methods.

研究动机与目标

• 为解决低光照图像增强中全局光照带来的局限性，该局限性常导致明亮区域过饱和。
• 开发一种视觉注意机制，以准确识别需要增强的暗区。
• 通过使用局部光照的超像素数据进行训练，而非全局光照，提升低光照图像增强性能。
• 在增强过程中保持非暗区的图像色调、色彩和亮度。
• 发布一个新的局部光照图像数据集，以支持未来研究和模型微调。

提出的方法

• 提出一种暗区感知的视觉注意模块，利用超像素估算局部光照需求，避免复杂计算。
• 通过在每个超像素上应用不同水平的局部光照，合成训练数据，生成逼真的低光照图像。
• 使用对抗性学习与PatchGAN判别器训练深度神经网络，以提升真实感和细节表现。
• 采用U-Net结构的生成器网络，从输入的低光照图像预测增强后的图像。
• 采用多尺度损失函数，结合L1损失、感知损失和对抗性损失，平衡图像保真度与真实感。
• 提出一种新颖的训练范式，利用局部光照的超像素引导注意机制，仅增强暗区。

实验结果

研究问题

• RQ1 在局部光照超像素上训练的视觉注意机制能否有效识别低光照图像中的暗区？
• RQ2 使用注意机制选择性增强暗区是否能在保持明亮区域亮度的同时提升图像质量？
• RQ3 与全局光照数据相比，使用局部光照训练数据能否带来更好的泛化能力和性能？
• RQ4 在感知质量及NIQE、BRISQUE和LOE等客观指标方面，DALE与最先进方法相比表现如何？
• RQ5 所提出的方法能否避免增强图像中的过饱和和色彩失真？

主要发现

• 在测试集上，DALE获得21.4的最低BRISQUE分数，优于所有SOTA方法，包括EnlightenGAN（22.2）和BIMEF（19.6）。
• 在LOE评估中，DALE获得678.7，显著低于BIMEF的308.12，表明其具有更好的亮度保持能力和更低的失真。
• DALE获得第二好的NIQE分数3.78，表明图像质量高且自然。
• DALE生成的视觉注意图能准确突出暗区（如阴影中的人物），同时忽略明亮区域（如天空）。
• 定性结果表明，DALE在细节保持和色彩保真度方面优于LIME、BIMEF和EnlightenGAN，且避免了过饱和。
• 所提出的局部光照图像数据集已公开发布，以支持未来研究和模型微调。