[论文解读] Low-Light Image Enhancement via Structure Modeling and Guidance

Xiaogang Xu, Ruixing Wang+1 more|arXiv (Cornell University)|May 10, 2023

Image Enhancement Techniques被引用 5

一句话总结

本文提出了一种新颖的低光照图像增强框架，通过生成对抗网络训练的结构感知生成模型与结构引导增强模块，联合建模结构边缘并引导外观增强。通过利用边缘图实现清晰、逼真的结果，该方法在sRGB和RAW数据集上均实现了最先进（SOTA）的性能，PSNR和SSIM指标持续提升。

ABSTRACT

This paper proposes a new framework for low-light image enhancement by simultaneously conducting the appearance as well as structure modeling. It employs the structural feature to guide the appearance enhancement, leading to sharp and realistic results. The structure modeling in our framework is implemented as the edge detection in low-light images. It is achieved with a modified generative model via designing a structure-aware feature extractor and generator. The detected edge maps can accurately emphasize the essential structural information, and the edge prediction is robust towards the noises in dark areas. Moreover, to improve the appearance modeling, which is implemented with a simple U-Net, a novel structure-guided enhancement module is proposed with structure-guided feature synthesis layers. The appearance modeling, edge detector, and enhancement module can be trained end-to-end. The experiments are conducted on representative datasets (sRGB and RAW domains), showing that our model consistently achieves SOTA performance on all datasets with the same architecture.

研究动机与目标

• 解决现有低光照增强方法未能显式建模结构细节的局限性，从而导致图像模糊和SSIM值偏低的问题。
• 通过将边缘作为结构先验，提升暗部、噪声区域的重建质量和结构保真度。
• 构建一个统一的、端到端可训练的框架，同时实现外观增强与结构细节恢复。
• 在多种数据集（包括sRGB和RAW领域）上展示模型的泛化能力与鲁棒性，并保持一致的最先进（SOTA）性能。

提出的方法

• 设计一种结构感知特征提取器（SAFE），通过应用空间可变操作（自适应的长距离与短距离计算）从低光照图像及其梯度中提取结构感知特征。
• 训练一种改进的基于StyleGAN的生成模型（S），采用对抗损失（GAN loss）以预测边缘图，提升在暗部区域噪声与低可见性下的鲁棒性。
• 引入结构引导增强模块（SGEM），利用从预测边缘图生成的空间自适应卷积与归一化参数，对外观特征进行精细化优化。
• 通过轻量级U-Net主干网络实现外观建模，并借助SGEM进行残差优化。
• 采用结合对抗损失、L2损失与感知损失的联合损失函数，端到端联合训练结构模型（S）、外观模型（A）与增强模块（E）。
• 通过使用正常光照图像中对应的真实标签图重新训练S，实现对其他结构表示（如语义分割、深度图）的泛化能力。

实验结果

研究问题

• RQ1 通过边缘预测实现显式结构建模，是否能提升低光照图像增强质量并减少模糊现象？
• RQ2 在低光照图像中，采用对抗损失进行结构建模与传统回归方法相比，在伪影减少与边缘精度方面表现如何？
• RQ3 结构引导的特征合成在多大程度上提升了外观重建质量，超越标准U-Net架构？
• RQ4 所提出的框架是否能在不同图像域（sRGB与RAW）之间实现泛化，并在单一架构下保持最先进（SOTA）性能？
• RQ5 引入额外监督数据（如AVA数据集）是否能提升在极暗区域的结构建模能力？

主要发现

• 所提方法在所有基准数据集（SID、LOL-synthetic、LOL-real，以及sRGB/RAW领域）上均达到最先进（SOTA）性能，在LOL-real数据集上PSNR达24.62 dB，SSIM达0.867，优于所有基线方法。
• 消融实验表明，结构建模中引入对抗损失显著减少了伪影并提升了边缘图质量，尤其在噪声大、亮度低的区域效果明显。
• 结构引导增强模块（SGEM）有效提升了外观重建质量，与不使用该模块的消融实验相比，PSNR与SSIM指标均更高。
• 通过使用AVA数据集的额外数据微调结构模型（S），性能进一步提升，在LOL-real数据集上达到PSNR 25.57 dB与SSIM 0.885。
• 100名用户的主观评估结果显示，本方法在视觉质量上被广泛认为更优，获得显著更多的高分（4–5分）与更少的低分（1–2分）。
• 该框架在其他结构表示（如语义分割、深度图）上也表现出良好泛化能力，当使用基于DPT的监督信号时，性能始终优于基线方法。