[논문 리뷰] LLDiffusion: Learning Degradation Representations in Diffusion Models for Low-Light Image Enhancement

Tao Wang, Kaihao Zhang외 6명|arXiv (Cornell University)|2023. 07. 27.

Image Enhancement Techniques인용 수 8

한 줄 요약

LLDiffusion은 확산 기반 프레임워크에 열화 표현을 도입하여 저광 열화와 향상을 공동으로 학습하고, 합성 및 실제 데이터셋에서 최첨단 LLIE 성능을 달성한다.

ABSTRACT

Current deep learning methods for low-light image enhancement (LLIE) typically rely on pixel-wise mapping learned from paired data. However, these methods often overlook the importance of considering degradation representations, which can lead to sub-optimal outcomes. In this paper, we address this limitation by proposing a degradation-aware learning scheme for LLIE using diffusion models, which effectively integrates degradation and image priors into the diffusion process, resulting in improved image enhancement. Our proposed degradation-aware learning scheme is based on the understanding that degradation representations play a crucial role in accurately modeling and capturing the specific degradation patterns present in low-light images. To this end, First, a joint learning framework for both image generation and image enhancement is presented to learn the degradation representations. Second, to leverage the learned degradation representations, we develop a Low-Light Diffusion model (LLDiffusion) with a well-designed dynamic diffusion module. This module takes into account both the color map and the latent degradation representations to guide the diffusion process. By incorporating these conditioning factors, the proposed LLDiffusion can effectively enhance low-light images, considering both the inherent degradation patterns and the desired color fidelity. Finally, we evaluate our proposed method on several well-known benchmark datasets, including synthetic and real-world unpaired datasets. Extensive experiments on public benchmarks demonstrate that our LLDiffusion outperforms state-of-the-art LLIE methods both quantitatively and qualitatively. The source code and pre-trained models are available at https://github.com/TaoWangzj/LLDiffusion.

연구 동기 및 목표

• 저광 이미지 향상(LLIE)이 순수한 픽셀 단위 매핑뿐만 아니라 열화 표현을 활용하도록 동기를 부여한다.
• 데이터로부터 저광 열화를 포착하기 위한 공동 학습 프레임워크를 제안한다.
• 향상 과정에서 열화를 이미지 사전정보와 함께 통합하기 위한 동적 열화 인식 확산 모듈을 개발한다.
• 합성 및 실제 LLIE 벤치마크에서 우수한 정량적 및 정성적 성능을 입증한다.

제안 방법

• 저광 입력으로부터 열화 표현을 추출하기 위한 잠재 맵 인코더를 도입한다.
• 정광에서 저광으로의 열화를 모사하기 위한 열화 생성 네트워크(DGNET)를 학습시킨다.
• 열화 표현과 불변 색상 맵에 조건화된 향상을 가능하게 하는 동적 열화 인식 확산 모듈(DDDM)을 개발한다.
• 열화 인식 학습 단계에서 열화 표현을 학습하기 위해 결합 손실로 DGNET와 DDDM을 공동으로 학습시킨다.
• 사전 학습 후 인코더를 고정하고 색상 맵과 열화 표현에 조건화된 향상을 위한 확산 모듈을 미세조정한다.

실험 결과

연구 질문

• RQ1 열화 표현이 실제 세계의 열화 패턴을 포착하여 확산 기반 LLIE를 향상시킬 수 있는가?
• RQ2 동적 열화 인식 확산 모듈이 LLIE에서 색상 충실도와 지각적 품질을 향상시키는가?
• RQ3 열화 표현과 향상의 공동 학습이 전통적 엔드-투-엔드 LLIE 방법과 어떻게 비교되는가?
• RQ4 확산 기반 LLIE에서 불변 색상 맵을 이미지 사전정보로 사용하는 것이 미치는 영향은 무엇인가?

주요 결과

방법	PSNR	SSIM	LPIPS
BIMEF	13.88	0.595	0.326
NPE	16.97	0.484	0.405
LIME	16.76	0.445	0.395
MF	16.97	0.508	0.380
SRIE	11.86	0.495	0.257
RetinexNet	16.77	0.560	0.474
KinD	20.87	0.790	0.170
KinD++	21.30	0.820	0.160
Zero-DCE	14.86	0.562	0.335
RUAS	18.23	0.720	0.350
EnlightenGAN	17.48	0.652	0.322
Uformer	18.55	0.721	0.321
Restormer	22.37	0.816	0.141
LLFormer	23.65	0.816	0.171
MIRNet	24.14	0.830	0.131
LLDiffusion	24.65	0.843	0.075

• LLDiffusion은 LOL 및 VE-LOL 데이터셋에서 MIRNet 및 LLFormer를 포함한 15개의 SOTA 방법과 비교하여 우수한 PSNR, SSIM 및 LPIPS를 달성한다.
• LOL에서 LLDiffusion은 PSNR 24.65, SSIM 0.843, LPIPS 0.075(평가된 방법 중 최고).
• 정량적 뿐만 아니라 정성적으로도 LLDiffusion은 더 밝고 색상 재현이 뛰어나며 인공물 없는 향상을 더 선명한 질감으로 제공한다.
• 이 방법은 실제 세계의 비쌍 데이터셋과 Real World Test(RWT) 데이터셋에 일반화되어 합성 및 실제 열화 전반에 걸친 강건한 성능을 보여준다.
• 사전 학습된 인코더를 포함한 공동 열화 학습 및 확산 기반 향상의 두 단계 학습 방식은 LLIE를 위한 효과적인 열화 표현을 제공합니다.