[论文解读] Attention-guided Low-light Image Enhancement.

Feifan Lv, Feng Lu|arXiv (Cornell University)|Aug 2, 2019

Image Enhancement Techniques参考文献 2被引用 22

一句话总结

本文提出了一种基于多分支卷积神经网络的端到端注意力引导低光照图像增强方法。该方法引入了一个大规模、多样化的合成数据集，并采用两种任务特定的注意力图——一种用于亮度增强，另一种用于噪声抑制——实现了自适应的、高保真度的增强，其性能在定量和视觉效果上均优于当前最先进方法。

ABSTRACT

Low-light image enhancement is challenging in that it needs to consider not only brightness recovery but also complex issues like color distortion and noise, which usually hide in the dark. Simply adjusting the brightness of a low-light image will inevitably amplify those artifacts. To address this difficult problem, this paper proposes a novel end-to-end attention-guided method based on multi-branch convolutional neural network. To this end, we first construct a synthetic dataset with carefully designed low-light simulation strategies. The dataset is much larger and more diverse than existing ones. With the new dataset for training, our method learns two attention maps to guide the brightness enhancement and denoising tasks respectively. The first attention map distinguishes underexposed regions from well lit regions, and the second attention map distinguishes noises from real textures. With their guidance, the proposed multi-branch decomposition-and-fusion enhancement network works in an input adaptive way. Moreover, a reinforcement-net further enhances color and contrast of the output image. Extensive experiments on multiple datasets demonstrate that our method can produce high fidelity enhancement results for low-light images and outperforms the current state-of-the-art methods by a large margin both quantitatively and visually.

研究动机与目标

• 解决低光照图像增强的挑战，即在亮度恢复、色彩保真度和噪声抑制之间取得平衡。
• 克服传统方法在简单提升亮度时放大伪影的局限性。
• 开发一种数据驱动方法，能够区分低光照条件下的欠曝区域、真实纹理和噪声。
• 通过学习输入自适应的注意力图来实现亮度和去噪任务的增强，从而提升增强质量。
• 通过联合优化增强与色彩/对比度优化，实现超越现有最先进方法的优越性能。

提出的方法

• 使用精心设计的模拟策略构建大规模、多样化的合成低光照数据集，以更好地反映真实世界的低光照条件。
• 设计一个多分支卷积神经网络，通过两种不同的注意力图引导，同时处理亮度增强和去噪任务。
• 学习第一张注意力图以区分欠曝区域与光照充足的区域，从而实现针对性的亮度恢复。
• 学习第二张注意力图以区分噪声与真实纹理，实现在不模糊细节的情况下选择性去噪。
• 集成一个强化网络，进一步提升最终输出图像的色彩饱和度和对比度。
• 使用感知损失、重建损失和对抗性损失的组合，对整个网络进行端到端训练，以确保高保真度结果。

实验结果

研究问题

• RQ1 具有多样化低光照条件的合成数据集是否能提升低光照图像增强网络的泛化能力和性能？
• RQ2 任务特定的注意力图是否能在单一统一框架中有效引导亮度增强和噪声抑制？
• RQ3 通过学习的注意力图实现的输入自适应处理，是否相比非自适应方法能更好地保留纹理并减少伪影？
• RQ4 强化网络的集成是否能进一步提升低光照增强图像的色彩和对比度质量？
• RQ5 所提出方法在定量和定性上与当前最先进低光照增强方法相比如何？

主要发现

• 所提方法在多个基准数据集上实现了优越的定量性能，在PSNR、SSIM和LPIPS指标上均优于现有最先进方法。
• 视觉结果表明，亮度恢复、色彩准确性和噪声抑制方面均有显著提升，且未引入伪影或过度增强纹理。
• 使用大规模、多样化的合成数据集使模型在真实世界低光照场景中展现出更好的泛化能力，优于在较小或较少变化的数据上训练的方法。
• 双任务注意力机制有效分离并解决了亮度和去噪两类不同的增强挑战，实现了更精确和自适应的处理。
• 强化网络成功提升了色彩和对比度，使最终结果更加自然，用户研究中也更受青睐。
• 消融实验确认，两种注意力图以及强化网络均对最终性能提升有显著贡献。