[论文解读] Color-wise Attention Network for Low-light Image Enhancement

Yousef Atoum, Mao Ye+3 more|arXiv (Cornell University)|Nov 20, 2019

Image Enhancement Techniques参考文献 42被引用 7

一句话总结

该论文提出了一种基于CIE LAB色彩空间的逐色注意力网络（CWAN），用于低光照图像增强。该方法将图像分解为明度（L）与色彩（AB）分量，分别通过两个卷积神经网络（CNN）进行增强：CWAN L用于提升明度并去噪，CWAN AB则采用基于色彩频率的注意力机制，以保留并增强前景关键色彩。该方法在定量指标和用户评测中均达到最先进性能，生成的图像色彩鲜艳、自然，显著提升了色彩保真度与明度顺序保持能力。

ABSTRACT

Absence of nearby light sources while capturing an image will degrade the visibility and quality of the captured image, making computer vision tasks difficult. In this paper, a color-wise attention network (CWAN) is proposed for low-light image enhancement based on convolutional neural networks. Motivated by the human visual system when looking at dark images, CWAN learns an end-to-end mapping between low-light and enhanced images while searching for any useful color cues in the low-light image to aid in the color enhancement process. Once these regions are identified, CWAN attention will be mainly focused to synthesize these local regions, as well as the global image. Both quantitative and qualitative experiments on challenging datasets demonstrate the advantages of our method in comparison with state-of-the-art methods.

研究动机与目标

• 解决低光照图像增强中可见度、对比度与色彩准确性严重退化的问题。
• 通过模拟人类视觉对关键色彩区域的注意力机制，提升低光照图像中的色彩还原能力。
• 通过将LLIE问题分解为独立的明度与色彩增强任务，简化问题复杂度。
• 开发一种基于关键色彩特征的监督注意力机制，利用色彩频率图聚焦于前景色彩。
• 在真实与合成的低光照数据集上均实现最先进性能。

提出的方法

• 该方法利用CIE LAB色彩空间将低光照图像分解为明度（L）与色彩（AB）分量。
• CWAN L采用记忆网络结构增强明度分量，以提升亮度并减少噪声。
• CWAN AB利用色彩频率图识别并优先处理具有中等频率计数的前景关键色彩，依据人类视觉感知机制。
• CWAN AB中的注意力机制通过选定的色彩频率进行监督，以引导对感兴趣区域的增强。
• 网络在RGB数据上端到端训练，采用L1损失，明度与色彩分量分别独立优化。
• 引入色彩丰富度与明度顺序保持（LOE）作为额外评估指标，以衡量色彩质量与结构保真度。

实验结果

研究问题

• RQ1 基于色彩频率的注意力机制能否改善低光照图像中自然色彩的恢复？
• RQ2 将明度与色彩增强分离处理，是否优于联合增强方法？
• RQ3 基于关键色彩特征的监督注意力机制，是否优于仅依赖空间或特征图的注意力机制？
• RQ4 所提方法在保持明度顺序与色彩丰富度方面，与最先进方法相比表现如何？
• RQ5 人类视觉系统对前景色彩的关注程度，与增强效果的提升程度之间是否存在显著相关性？

主要发现

• 在SID Sony数据集上，CWAN在PSNR与SSIM指标上均取得最高分，分别为28.56/0.909与29.08/0.924，显著优于所有基线方法。
• 在HDRDB数据集上，CWAN用户评测平均排名为2.32，标准差仅为1.73，表明用户偏好高度一致且显著。
• CWAN在所有方法中取得最低的LOE值（30.53），证明其在增强图像中对明度顺序的保持能力最优。
• 在HDRDB数据集上，CWAN获得最高的色彩丰富度指标（40.38），证实其在恢复鲜艳自然色彩方面的有效性。
• 定性结果表明，CWAN在恢复细微色彩细节方面优于LightenNet与SID等方法，且无过度增强或灰暗伪影。
• 在PASCAL 1000数据集上，CWAN取得SSIM第二名，其余所有指标均为最佳，证明其在多样化数据集上的鲁棒性。