[论文解读] Attention Guided Low-light Image Enhancement with a Large Scale Low-light Simulation Dataset

Feifan Lv, Yu Li+1 more|arXiv (Cornell University)|Aug 2, 2019

Image Enhancement Techniques参考文献 81被引用 47

一句话总结

该论文提出一个端到端、基于注意力引导的多分支网络，用于同时进行低光增强和去噪，在一个大规模合成低光数据集上进行训练。

ABSTRACT

Low-light image enhancement is challenging in that it needs to consider not only brightness recovery but also complex issues like color distortion and noise, which usually hide in the dark. Simply adjusting the brightness of a low-light image will inevitably amplify those artifacts. To address this difficult problem, this paper proposes a novel end-to-end attention-guided method based on multi-branch convolutional neural network. To this end, we first construct a synthetic dataset with carefully designed low-light simulation strategies. The dataset is much larger and more diverse than existing ones. With the new dataset for training, our method learns two attention maps to guide the brightness enhancement and denoising tasks respectively. The first attention map distinguishes underexposed regions from well lit regions, and the second attention map distinguishes noises from real textures. With their guidance, the proposed multi-branch decomposition-and-fusion enhancement network works in an input adaptive way. Moreover, a reinforcement-net further enhances color and contrast of the output image. Extensive experiments on multiple datasets demonstrate that our method can produce high fidelity enhancement results for low-light images and outperforms the current state-of-the-art methods by a large margin both quantitatively and visually.

研究动机与目标

• 推动稳健的低光增强，在恢复亮度的同时抑制噪声和色彩失真。
• 构建一个大规模、高保真度的合成低光数据集，含成对的真值图像和标注。
• 开发一个以注意力为引导的多分支 CNN 架构，协同去噪与增强，并由曝光图和噪声图引导。
• 通过二次强化步骤提升颜色、对比度和细节重建。
• 在多个数据集上展示最先进的性能，具备定量和可视化改进。

提出的方法

• 构建一个大规模低光仿真流水线，以从正常光照图像合成真实的低光图像，包括高斯-泊松混合噪声模型。
• 提出一个端到端网络，包含四个子网：Attention-Net、Noise-Net、Enhancement-Net 和 Reinforce-Net。
• 使用 ue-attention 映射来识别曝光不足区域，并从曝光引导信息导出噪声图。
• 实现一个多分支 Enhancement-Net，按注意信号引导融合来自多个增强模块（EM）的输出。
• 应用带膨胀卷积的 Reinforce-Net，以在最终输出中提升对比度和细节。
• 使用复合损失进行训练，包括 Attention-Net、Noise-Net、Enhancment-Net（注意：原文有 Enhancment-Net 拼写缺错，保持原文拼写）和 Reinforce-Net 组件及各自的项（亮度、结构、感知、区域）。

实验结果

研究问题

• RQ1 如何有效估计曝光不足区域和噪声分布，并用于指导同时进行增强和去噪？
• RQ2 一个大规模的合成低光数据集能否在各种场景和曝光水平下提升增强模型的泛化能力？
• RQ3 在低光条件下，带有注意力引导的多分支网络是否在性能上优于单分支或级联去噪+增强方法？
• RQ4 强化步骤是否能超越初始增强结果，改善颜色和对比度？

主要发现

• 所提方法实现高保真增强，在多个数据集上大幅领先于最先进方法。
• UE-attention 映射有效引导增强到曝光不足区域，并帮助推导出用于自适应去噪的噪声图。
• 多分支 Enhancement-Net，在 Attention-Net 和 Noise-Net 输出的引导下，实现同时去噪与增强。
• Reinforce-Net 提升颜色和对比度，解决回归式方法中常见的低对比度伪影。
• 该合成数据集提供多样化的曝光水平、真实的噪声，以及用于训练和评估的兼容真值。