[论文解读] Global Structure-Aware Diffusion Process for Low-Light Image Enhancement

Jinhui Hou, Zhiyu Zhu+4 more|arXiv (Cornell University)|Oct 26, 2023

Sparse and Compressive Sensing Techniques被引用 43

一句话总结

基于扩散的框架通过全球结构感知和不确定性引导项对ODE轨迹进行正则化，以提升低光照图像增强，在若干LLIE基准测试上达到最先进的性能指标。

ABSTRACT

This paper studies a diffusion-based framework to address the low-light image enhancement problem. To harness the capabilities of diffusion models, we delve into this intricate process and advocate for the regularization of its inherent ODE-trajectory. To be specific, inspired by the recent research that low curvature ODE-trajectory results in a stable and effective diffusion process, we formulate a curvature regularization term anchored in the intrinsic non-local structures of image data, i.e., global structure-aware regularization, which gradually facilitates the preservation of complicated details and the augmentation of contrast during the diffusion process. This incorporation mitigates the adverse effects of noise and artifacts resulting from the diffusion process, leading to a more precise and flexible enhancement. To additionally promote learning in challenging regions, we introduce an uncertainty-guided regularization technique, which wisely relaxes constraints on the most extreme regions of the image. Experimental evaluations reveal that the proposed diffusion-based framework, complemented by rank-informed regularization, attains distinguished performance in low-light enhancement. The outcomes indicate substantial advancements in image quality, noise suppression, and contrast amplification in comparison with state-of-the-art methods. We believe this innovative approach will stimulate further exploration and advancement in low-light image processing, with potential implications for other applications of diffusion models. The code is publicly available at https://github.com/jinnh/GSAD.

研究动机与目标

• 激发并解决扩散基于LLIE方法中像素级正则化的局限性。
• 对扩散ODE轨迹进行正则化，以保留全局图像结构和细节。
• 引入基于非局部块的矩阵秩正则化，以捕捉全局结构。
• 引入不确定性引导机制，以在具有挑战性的区域自适应正则化强度。
• 展示在标准LLIE数据集上的改进修复质量和鲁棒性。

提出的方法

• 将LLIE问题建模为一个以输入低光图像为条件、在每个时间步具有可学习闭式解样本的扩散过程。
• 通过跨簇的非局部、基于秩的图像块矩阵表示，以全局结构感知项对反向轨迹进行正则化，在扩散过程中逐步注入（κ_t 调度）。
• 从 X_t 构造可学习的闭式样本 X_{t-1}，对可学习路径而非固定闭式形式应用正则化，从而提升稳定性。
• 采用非局部基于块的聚类，对图像块形成矩阵，其秩反映全局结构，并惩罚当前结构与真值结构之间的发散。
• 通过预训练的不确定性模型引入不确定性图 P_t，以对扩散损失进行加权，强调困难区域。
• 使用包含不确定性引导项和结构感知正则化项的综合损失进行优化，并采用自适应的训练计划。

实验结果

研究问题

• RQ1 全球结构感知、基于秩的正则化是否能够改善LLIE中扩散反向轨迹的曲率和稳定性？
• RQ2 与像素级损失相比，基于非局部块的矩阵秩建模是否能更好地保留全局纹理和对比度？
• RQ3 引入不确定性引导正则化是否在不牺牲整体质量的前提下，提升对困难低光区域的学习？
• RQ4 逐步注入结构感知正则化对跨基准LLIE性能的影响是什么？

主要发现

方法	LOLv1 PSNR	LOLv1 SSIM	LOLv1 LPIPS	LOLv2-real PSNR	LOLv2-real SSIM	LOLv2-real LPIPS	LOLv2-synthetic PSNR	LOLv2-synthetic SSIM	LOLv2-synthetic LPIPS	参数(M)
LIME	16.760	0.560	0.350	15.240	0.470	0.415	16.880	0.776	0.675	-
Zero-DCE	14.861	0.562	0.335	18.059	0.580	0.313	-	-	-	0.33
EnlightenGAN	17.483	0.652	0.322	18.640	0.677	0.309	16.570	0.734	-	8.64
RetinexNet	16.770	0.462	0.474	18.371	0.723	0.365	17.130	0.798	0.754	0.62
DRBN	19.860	0.834	0.155	20.130	0.830	0.147	23.220	0.927	-	2.21
KinD	20.870	0.799	0.207	17.544	0.669	0.375	16.259	0.591	0.435	8.03
KinD++	21.300	0.823	0.175	19.087	0.817	0.180	-	-	-	9.63
MIRNet	24.140	0.842	0.131	20.357	0.782	0.317	21.940	0.846	-	5.90
LLFlow	25.132	0.872	0.117	26.200	0.888	0.137	24.807	0.919	0.067	37.68
LLFormer	25.758	0.823	0.167	26.197	0.819	0.209	28.006	0.927	0.061	24.55
SNR-Aware	26.716	0.851	0.152	27.209	0.871	0.157	27.787	0.941	0.054	39.13
Ours	27.839	0.877	0.091	28.818	0.895	0.095	28.670	0.944	0.047	17.36

• 所提方法在LOLv1和LOLv2上在PSNR、SSIM和LPIPS等指标上达到最先进的性能，且LPIPS最低，表示感知质量更优。
• 在LOLv1上，PSNR 27.839，SSIM 0.877，LPIPS 0.091；在LOLv2-real上，PSNR 28.818，SSIM 0.895，LPIPS 0.095；在LOLv2-synthetic上，PSNR 28.670，SSIM 0.944，LPIPS 0.047。
• 该方法在未配对的真实世界LLIE数据集（DICM、LIME、MEF、NPE、VV）上的NIQE分数优于竞争方法，表明泛化能力更强。
• 消融研究表明，带自适应调度的非局部基于秩的正则化，以及不确定性引导正则化，在PSNR、SSIM和LPIPS上带来最大的提升。
• 使用高级分层聚类方法在PSNR和感知指标方面相较K-means有进一步提升，说明聚类选择对结构建模的重要性。