[论文解读] Low Light Image Enhancement via Global and Local Context Modeling

Aditya Arora, Muhammad Haris+5 more|arXiv (Cornell University)|Jan 4, 2021

Image Enhancement Techniques参考文献 53被引用 5

一句话总结

本文提出了一种上下文感知的深度神经网络用于低光照图像增强，通过结合全局与局部上下文建模来提升图像质量。通过集成一个用于场景级空间相关性的全局上下文模块，以及一个感受野较大的密集残差块以恢复局部细节，该方法在 MIT-Adobe FiveK 数据集上实现了最先进性能，相较于最佳先前方法将 PSNR 提升了 1.41 dB（24.45 dB vs. 23.04 dB）。

ABSTRACT

Images captured under low-light conditions manifest poor visibility, lack contrast and color vividness. Compared to conventional approaches, deep convolutional neural networks (CNNs) perform well in enhancing images. However, being solely reliant on confined fixed primitives to model dependencies, existing data-driven deep models do not exploit the contexts at various spatial scales to address low-light image enhancement. These contexts can be crucial towards inferring several image enhancement tasks, e.g., local and global contrast, brightness and color corrections; which requires cues from both local and global spatial extent. To this end, we introduce a context-aware deep network for low-light image enhancement. First, it features a global context module that models spatial correlations to find complementary cues over full spatial domain. Second, it introduces a dense residual block that captures local context with a relatively large receptive field. We evaluate the proposed approach using three challenging datasets: MIT-Adobe FiveK, LoL, and SID. On all these datasets, our method performs favorably against the state-of-the-arts in terms of standard image fidelity metrics. In particular, compared to the best performing method on the MIT-Adobe FiveK dataset, our algorithm improves PSNR from 23.04 dB to 24.45 dB.

研究动机与目标

• 解决现有深度学习方法在低光照图像增强中依赖固定局部感受野、无法建模多尺度空间上下文的局限性。
• 通过利用全局场景级上下文与密集局部上下文，提升图像保真度，实现更好的对比度、亮度与色彩恢复。
• 设计一种统一架构，有效结合全局与局部上下文建模，以增强视觉质量并减少低光照图像中的伪影。
• 通过定量指标与用户研究，在多样化数据集（包括极端低光照条件）上展示优越性能。
• 验证多尺度上下文建模可生成更自然、感知上更真实、细节更丰富的增强图像。

提出的方法

• 引入一个全局上下文模块，用于建模整幅图像的空间相关性，基于完整的空间范围重新校准特征。
• 采用感受野较大的密集残差块，以捕捉细粒度的局部上下文并提升特征多样性。
• 使用分层编码器-解码器架构，在多分辨率下处理特征，实现多尺度上下文整合。
• 在全局上下文模块中应用可学习的注意力机制，以动态加权图像中各处的空间依赖关系。
• 通过跳跃连接与特征拼接方式，融合全局与局部上下文表征，以增强特征表示能力。
• 采用结合 L1 损失、感知损失与对抗损失的多损失目标函数，端到端训练网络，以提升真实感与保真度。

实验结果

研究问题

• RQ1 同时建模全局与局部空间上下文是否能超越仅依赖局部感受野的增强效果？
• RQ2 在整个图像空间范围内整合全局上下文建模，对场景级对比度与亮度调节有何影响？
• RQ3 采用大感受野的密集局部上下文建模，在过暗区域中对细节恢复与色彩保真度的提升程度如何？
• RQ4 结合全局与局部上下文建模的统一架构是否在多样化低光照数据集上优于最先进方法？
• RQ5 当同时提升全局一致性与局部细节时，人类观察者对增强图像质量的感知如何？

主要发现

• 所提方法在 MIT-Adobe FiveK 数据集上达到 24.45 dB 的 PSNR，相较于先前最先进方法（23.04 dB）提升 1.41 dB。
• 在 LoL 与 SID 数据集上，该方法在定量指标与视觉质量方面均优于现有最先进方法，尤其在保持自然色彩与减少伪影方面表现突出。
• 用户研究表明，观察者在感知质量与审美吸引力方面更偏好本方法，其在偏好度与与真实图像的忠实度评估中均排名第一。
• 视觉对比与局部放大分析证实，该方法能有效减少过曝与不自然色偏等常见伪影，尤其在挑战性低光照区域表现更优。
• 全局与局部上下文建模的结合，使增强效果在复杂光照与纹理变化的多样化场景中更具一致性与可靠性。
• 在三个基准数据集（MIT-Adobe FiveK、LoL 与 SID）上性能均保持一致提升，证明了所提方法的鲁棒性与泛化能力。