[논문 리뷰] Global Structure-Aware Diffusion Process for Low-Light Image Enhancement

Jinhui Hou, Zhiyu Zhu외 4명|arXiv (Cornell University)|2023. 10. 26.

Sparse and Compressive Sensing Techniques인용 수 43

한 줄 요약

확산 기반 프레임워크가 글로벌 구조 인식 및 불확실성 가이드 항을 통해 ODE 경로를 정규화하여 저조도 이미지 향상을 개선하고, 여러 LLIE 벤치마크에서 최첨단 지표를 달성합니다.

ABSTRACT

This paper studies a diffusion-based framework to address the low-light image enhancement problem. To harness the capabilities of diffusion models, we delve into this intricate process and advocate for the regularization of its inherent ODE-trajectory. To be specific, inspired by the recent research that low curvature ODE-trajectory results in a stable and effective diffusion process, we formulate a curvature regularization term anchored in the intrinsic non-local structures of image data, i.e., global structure-aware regularization, which gradually facilitates the preservation of complicated details and the augmentation of contrast during the diffusion process. This incorporation mitigates the adverse effects of noise and artifacts resulting from the diffusion process, leading to a more precise and flexible enhancement. To additionally promote learning in challenging regions, we introduce an uncertainty-guided regularization technique, which wisely relaxes constraints on the most extreme regions of the image. Experimental evaluations reveal that the proposed diffusion-based framework, complemented by rank-informed regularization, attains distinguished performance in low-light enhancement. The outcomes indicate substantial advancements in image quality, noise suppression, and contrast amplification in comparison with state-of-the-art methods. We believe this innovative approach will stimulate further exploration and advancement in low-light image processing, with potential implications for other applications of diffusion models. The code is publicly available at https://github.com/jinnh/GSAD.

연구 동기 및 목표

• 확산 기반 LLIE 방법에서 픽셀 단위 규제의 한계를 동기 부여하고 해결합니다.
• 확산 ODE 경로를 정규화하여 글로벌 이미지 구조와 세부 정보를 보존합니다.
• 글로벌 구조를 포착하기 위한 비지역 패치 기반 행렬 랭크 정규화를 도입합니다.
• 도전 영역에서 규제 강도를 조정하는 불확실성 가이드 메커니즘을 도입합니다.
• 표준 LLIE 데이터셋에서 복원 품질과 강건성을 향상시켰음을 입증합니다.

제안 방법

• 입력 저조도 이미지에 조건화된 확산 프로세스로 LLIE 문제를 모델링하고 각 시간 단계에서 학습 가능한 닫힌 형 샘플을 학습합니다.
• 확산 중 점진적으로 주입되는 κ_t 스케줄링으로 비지역 랭크 기반 패치 표현을 통해 전역 구조 인식 용어로 역 경로를 규제합니다.
• X_t에서 X_{t-1}을 만들어 학습 가능한 경로에 규제를 적용하여 고정된 닫힌 형에 비해 안정성을 향상시킵니다.
• 비지역 패치 기반 클러스터링으로 전체 구조를 반영하는 행렬을 구성하고, 현재 구조와 지상참조 구조 간의 차이를 페널티합니다.
• 사전에 학습된 불확실성 모델을 통해 P_t 불확실성 맵을 도입하고 확산 손실에 가중치를 부여해 어려운 영역을 강조합니다.
• 불확실성 가이드 항과 구조 인식 정규화 항을 포함한 결합 손실과 적응적 학습 스케줄로 최적화합니다.

실험 결과

연구 질문

• RQ1 전역 구조 인식, 랭크 기반 정규화가 LLIE의 역 확산 경로의 곡률 및 안정성을 개선하는가?
• RQ2 비지역 패치 기반 행렬 랭크 모델링이 픽셀 단위 손실에 비해 전역 질감과 대비를 더 잘 보존하는가?
• RQ3 불확실성 가이드 정규화를 도입하면 어려운 저조도 영역에서 학습을 향상시키되 전체 품질을 해치지 않는가?
• RQ4 구조 인식 정규화를 점진적으로 주입하는 것이 벤치마크 전반에 걸친 LLIE 성능에 어떤 영향을 미치는가?

주요 결과

Methods	LOLv1 PSNR	LOLv1 SSIM	LOLv1 LPIPS	LOLv2-real PSNR	LOLv2-real SSIM	LOLv2-real LPIPS	LOLv2-synthetic PSNR	LOLv2-synthetic SSIM	LOLv2-synthetic LPIPS	Params(M)
LIME	16.760	0.560	0.350	15.240	0.470	0.415	16.880	0.776	0.675	-
Zero-DCE	14.861	0.562	0.335	18.059	0.580	0.313	-	-	-	0.33
EnlightenGAN	17.483	0.652	0.322	18.640	0.677	0.309	16.570	0.734	-	8.64
RetinexNet	16.770	0.462	0.474	18.371	0.723	0.365	17.130	0.798	0.754	0.62
DRBN	19.860	0.834	0.155	20.130	0.830	0.147	23.220	0.927	-	2.21
KinD	20.870	0.799	0.207	17.544	0.669	0.375	16.259	0.591	0.435	8.03
KinD++	21.300	0.823	0.175	19.087	0.817	0.180	-	-	-	9.63
MIRNet	24.140	0.842	0.131	20.357	0.782	0.317	21.940	0.846	-	5.90
LLFlow	25.132	0.872	0.117	26.200	0.888	0.137	24.807	0.919	0.067	37.68
LLFormer	25.758	0.823	0.167	26.197	0.819	0.209	28.006	0.927	0.061	24.55
SNR-Aware	26.716	0.851	0.152	27.209	0.871	0.157	27.787	0.941	0.054	39.13
Ours	27.839	0.877	0.091	28.818	0.895	0.095	28.670	0.944	0.047	17.36

• 제안된 방법은 LOLv1 및 LOLv2에서 PSNR, SSIM, LPIPS 측면에서 최첨단 성능을 달성하며, 가장 낮은 LPIPS가 지각 품질 우수성을 나타냅니다.
• LOLv1에서 PSNR 27.839, SSIM 0.877, LPIPS 0.091; LOLv2-real에서 PSNR 28.818, SSIM 0.895, LPIPS 0.095; LOLv2-synthetic에서 PSNR 28.670, SSIM 0.944, LPIPS 0.047.
• 비정렬(real-world LLIE 데이터셋: DICM, LIME, MEF, NPE, VV)에서 NIQE 점수가 경쟁 방법들보다 더 낮아 일반화가 강함.
• 비지역 랭크 기반 정규화와 적응 스케줄링, 더불어 불확실성 가이드 정규화가 PSNR, SSIM, LPIPS에서 가장 큰 이득을 제공합니다.
• 고급 계층적 방법으로의 클러스터링은 K-평균보다 PSNR 및 지각 지표를 더 향상시켜 구조 모델링에서 클러스터링 선택의 중요성을 보여줍니다.