[논문 리뷰] Unsupervised Low-Light Image Enhancement via Histogram Equalization Prior

Feng Zhang, Yuanjie Shao외 4명|arXiv (Cornell University)|2021. 12. 03.

Image Enhancement Techniques인용 수 25

한 줄 요약

본 논문은 히스토그램 평준화 프라이어를 Retinex 기반 분해를 안내하기 위해 사용하고, 저조도 이미지를 향상시키기 위한 노이즈 분리 모듈을 더한 비지도 프레임워크를 제시하여 비지도 방법 중 최첨단 결과를 달성하고 감독 방법과 견줄 만한 성과를 보인다.

ABSTRACT

Deep learning-based methods for low-light image enhancement typically require enormous paired training data, which are impractical to capture in real-world scenarios. Recently, unsupervised approaches have been explored to eliminate the reliance on paired training data. However, they perform erratically in diverse real-world scenarios due to the absence of priors. To address this issue, we propose an unsupervised low-light image enhancement method based on an effective prior termed histogram equalization prior (HEP). Our work is inspired by the interesting observation that the feature maps of histogram equalization enhanced image and the ground truth are similar. Specifically, we formulate the HEP to provide abundant texture and luminance information. Embedded into a Light Up Module (LUM), it helps to decompose the low-light images into illumination and reflectance maps, and the reflectance maps can be regarded as restored images. However, the derivation based on Retinex theory reveals that the reflectance maps are contaminated by noise. We introduce a Noise Disentanglement Module (NDM) to disentangle the noise and content in the reflectance maps with the reliable aid of unpaired clean images. Guided by the histogram equalization prior and noise disentanglement, our method can recover finer details and is more capable to suppress noise in real-world low-light scenarios. Extensive experiments demonstrate that our method performs favorably against the state-of-the-art unsupervised low-light enhancement algorithms and even matches the state-of-the-art supervised algorithms.

연구 동기 및 목표

• priors를 활용하여 쌍 데이터 없이 비지도 저조도 향상을 고무한다.
• 히스토그램 평준화 프라이어(HEP)를 제안하여 반사도-조도 분해를 가이드한다.
• 이미지를 조도와 반사도로 분해한 뒤, 분리된 표현으로 반사도를 노이즈에서 정제한다.
• 히스토그램 평준화 강화 이미지와의 지각적 유사성 및 노이즈/콘텐츠 분리로 학습을 정규화한다.
• 최신 방법들과의 정량적 및 정성적 성능에서 강력한 성능을 입증한다.

제안 방법

• 히스토그램 평준화 프라이어(HEP)를 ground-truth 스타일 이미지와의 VGG conv4_1 특징 유사성을 통해 평가한 방식으로 도입한다.
• Retinex 이론에 따라 Light Up Module (LUM)을 사용하여 저조도 이미지를 반사도와 조도 맵으로 분해한다.
• 조도 맵의 구조를 보존하면서 텍스처를 억제하기 위해 조도 스무스니스 손실을 적용한다.
• 콘텐츠 인코더와 노이즈 인코더를 갖춘 Noise Disentanglement Module (NDM)을 추가하여 반사도 맵에서 노이즈를 콘텐츠로부터 분리한다.
• 노이즈 특징이 표준 정규 분포를 따르도록 KL 발산을 사용해 제약하여 노이즈에서의 콘텐츠 누출을 줄인다.
• NDM에 적대적 학습(adversarial), 사이클 일관성(cycle-consistency), 지각적(perceptual), 색상 불변성(color-constancy), 다중 스케일 배경 손실 등을 통합하여 현실적인 잡음 제거와 디테일 회복을 달성한다.

실험 결과

연구 질문

• RQ1 쌍 데이터 없이 priors를 활용하여 비지도 저조도 향상을 가이드할 수 있는 히스토그램 평준화 유도 특징이 신뢰할 수 있는 비지도 프라이어로 작동하는가?
• RQ2 반사도-조도 분해를 노이즈 분리와 결합하여 실제 저조도 이미지에서 디테일을 회복하고 노이즈를 억제할 수 있는가?
• RQ3 제안된 프라이어와 모듈이 표준 벤치마크에서 감독 방법과 경쟁할 정도의 성능 향상을 가져오는가?
• RQ4 HEP, 조도 평활, KL, 적대적, 지각적 등 제안된 손실들이 복원 품질에 미치는 영향은 무엇인가?

주요 결과

Method	PSNR	SSIM	NIQE
입력	7.77	0.191	6.749
HE [1]	14.95	0.409	8.427
LIME [19]	17.18	0.484	8.221
Retinex-Net [10]	16.77	0.425	8.879
KinD++ [11]	21.32	0.829	5.120
Zero-DCE [6]	14.86	0.562	7.767
EnlightenGAN [7]	17.48	0.652	4.684
Self-Supervised [8]	19.13	0.651	4.702
본 제안	20.23	0.790	3.780

• 제안된 방법은 LOL 테스트 세트에서 비지도 방법 중 가장 높은 PSNR(20.23 dB), SSIM(0.790), NIQE(3.780)를 달성한다.
• 감독 방법에 대한 격차를 좁히며, 성능이 최첨단 감독 접근에 근접한 수준으로 향상된다.
• HEP는 히스토그램 평준화된 이미지의 특징을 딥 네트워크의 ground-truth와 유사한 표현과 정렬시키고 복원 지침을 개선한다.
• NDM은 노이즈를 콘텐츠로부터 효과적으로 분리하여 더 높은 품질의 denoised 이미지와 더 나은 질감 보존을 얻는다.
• 다양한 데이터셋의 정량적 결과에서 NIQE 점수가 우수하고 실제 저조도 이미지에서도 시각적 품질이 경쟁력 있게 나타난다.