[논문 리뷰] Self-Reference Deep Adaptive Curve Estimation for Low-Light Image Enhancement

Jianyu Wen, Chen‐Hao Wu외 3명|arXiv (Cornell University)|2023. 08. 16.

Image Enhancement Techniques인용 수 4

한 줄 요약

이 논문은 자기 기반 깊이 적응 곡선 추정과 노이즈 제거를 활용한 이중 단계형 비지도 저조도 이미지 향상 방법인 Self-DACE를 제안한다. Retinex 이론과 단순화된 카메라 모델에 기반한 새로운 손실 함수를 통해 경량 CNN이 국소 향상 곡선을 학습하며, 시각적 품질과 정량적 지표에서 최신 기술을 초월하는 성능을 달성하면서도 엣지 장치에 적합한 효율성을 유지한다.

ABSTRACT

In this paper, we propose a 2-stage low-light image enhancement method called Self-Reference Deep Adaptive Curve Estimation (Self-DACE). In the first stage, we present an intuitive, lightweight, fast, and unsupervised luminance enhancement algorithm. The algorithm is based on a novel low-light enhancement curve that can be used to locally boost image brightness. We also propose a new loss function with a simplified physical model designed to preserve natural images' color, structure, and fidelity. We use a vanilla CNN to map each pixel through deep Adaptive Adjustment Curves (AAC) while preserving the local image structure. Secondly, we introduce the corresponding denoising scheme to remove the latent noise in the darkness. We approximately model the noise in the dark and deploy a Denoising-Net to estimate and remove the noise after the first stage. Exhaustive qualitative and quantitative analysis shows that our method outperforms existing state-of-the-art algorithms on multiple real-world datasets.

연구 동기 및 목표

• 엣지 장치에 적합한 통합적이고 효율적이며 비지도 기반의 저조도 이미지 향상 방법의 부족을 보완한다.
• 복잡한 조명 조건에서 실패하거나 잡음과 같은 아티팩트를 유발하는 기존 곡선 기반 방법의 한계를 극복한다.
• 쌍화된 훈련 데이터가 필요 없이 경량화되고 실시간 처리가 가능한 빛의 세기 향상 네트워크를 개발한다.
• 빛의 세기 향상 과정에서 증폭된 노이즈를 비지도 노이즈 제거 모듈을 통해 제거한다.
• 향상된 이미지에서 색상 정확도, 구조적 요소, 자연스러운 외관을 유지한다.

제안 방법

• Retinex 이론과 단순화된 물리적 카메라 모델을 융합한 새로운 자기 기반 손실 함수를 제안하여 곡선 기반 향상에 지도를 제공한다.
• 파arameterized이고 융통성 있는 적응형 조정 곡선을 도입하여 전역적인 과노출 없이 국소 밝기 강화를 가능하게 한다.
• 각 픽셀의 향상 곡선을 예측하기 위해 경량 CNN(Luminance-Net)을 활용하여 국소 이미지 구조를 유지한다.
• 학습된 곡선을 반복 적용하여 점진적으로 이미지의 빛의 세기를 향상시키며, 단조성을 유지한다.
• 빛의 세기 향상 후 어두운 영역에서 증폭된 노이즈를 추정하고 억제하기 위해 별도의 Denoising-Net을 도입한다.
• 시각적 품질을 확보하기 위해 전역 색상, 구조 유사도, 부드러움 항목을 포함한 다중 구성 요소 손실 함수를 적용한다.

실험 결과

연구 질문

• RQ1 쌍화된 훈련 데이터가 없이도 경량 비지도 딥러닝 방법이 뛰어난 저조도 이미지 향상 성능을 달성할 수 있는가?
• RQ2 Retinex 이론과 물리 모델에 기반한 자기 기반 손실 함수가 이미지 구조와 색상 유지에 얼마나 효과적인가?
• RQ3 복잡한 조명 조건에서 적응형으로 국소적으로 학습된 곡선이 고정 또는 전역 감마 함수보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 비지도 노이즈 제거 모듈이 빛의 세기 향상 과정에서 유발된 노이즈를 효과적으로 억제할 수 있는가?
• RQ5 이중 단계 설계(Luminance Enhancement + Denoising)가 단일 단계 방법보다 더 뛰어난 시각적 및 정량적 성능을 보일 수 있는가?

주요 결과

• Self-DACE는 LOL, LSRW, SCIE Part2 데이터셋에서 PSNR, SSIM, LPIPS, CIEDE2000 지표 전반에서 여덟 가지 최신 기술보다 뛰어난 성능을 보였다.
• Stage-I만으로도 대부분의 지표에서 최고 또는 2위 성능을 기록하여 빛의 세기 향상 모듈의 효과를 입증했다.
• 전체 이중 단계 방법이 가장 뛰어난 시각적 품질을 달성했으며, ZeroDCE, KinD++, SCI와 같은 방법들에 비해 더 부드러운 전환과 더 적은 아티팩트를 보였다.
• 제거 실험을 통해 전역 색상, 부드러움, 구조 유사도 항목 모두가 최적 성능을 내기 위해 필수적임을 확인했다.
• 모델는 계산적으로 효율적이며, KinD, KinD++, EnGAN보다 파rameter 수와 FLOPs가 적어 엣지 배포에 적합하다.
• 시각적 비교 결과 Self-DACE는 밝은 영역을 과노출하거나 색조나 에지 아티팩트를 유발하지 않고 어두운 영역을 효과적으로 향상시켰다.