[논문 리뷰] Deep Retinex Decomposition for Low-Light Enhancement

Wei Chen, Wenjing Wang외 2명|arXiv (Cornell University)|2018. 08. 14.

Image Enhancement Techniques인용 수 238

한 줄 요약

이 논문은 Retinex-Net을 도입하여 저조도 이미지를 반사율과 조명으로 공동 분해한 뒤 조명을 향상시키고, 필요 시 반사율의 노이즈 제거를 선택적으로 수행하는, paired real and synthetic LOL datasets에 대해 학습된 데이터 기반 딥 네트워크이다.

ABSTRACT

Retinex model is an effective tool for low-light image enhancement. It assumes that observed images can be decomposed into the reflectance and illumination. Most existing Retinex-based methods have carefully designed hand-crafted constraints and parameters for this highly ill-posed decomposition, which may be limited by model capacity when applied in various scenes. In this paper, we collect a LOw-Light dataset (LOL) containing low/normal-light image pairs and propose a deep Retinex-Net learned on this dataset, including a Decom-Net for decomposition and an Enhance-Net for illumination adjustment. In the training process for Decom-Net, there is no ground truth of decomposed reflectance and illumination. The network is learned with only key constraints including the consistent reflectance shared by paired low/normal-light images, and the smoothness of illumination. Based on the decomposition, subsequent lightness enhancement is conducted on illumination by an enhancement network called Enhance-Net, and for joint denoising there is a denoising operation on reflectance. The Retinex-Net is end-to-end trainable, so that the learned decomposition is by nature good for lightness adjustment. Extensive experiments demonstrate that our method not only achieves visually pleasing quality for low-light enhancement but also provides a good representation of image decomposition.

연구 동기 및 목표

• 데이터 기반 Retinex 기반 분해를 통해 ground-truth 반사율/조명 없이도 저조도 향상을 가능하게 한다.
• Paired low/normal-light 이미지를 활용해 다양한 조명 조건에서 일관된 반사율을 추출하는 Decom-Net을 학습한다.
• 다중 스케일 콘텍스트를 이용해 조명을 조정하는 Enhance-Net를 개발하고 필요 시 반사율을 denoise한다.
• 엔드-투-엔드 학습 가능한 프레임워크를 제공하여 시각적으로 만족스러운 향상과 의미 있는 분해 표현을 얻는다.
• 실제 및 합성 LOL 데이터셋을 구축하고 활용하여 저조도 향상 학습을 지원한다.

제안 방법

• Decom-Net은 paired low-/normal-light 이미지에서 재구성, 불변 반사율, 구조 인지 조명 손실을 이용해 반사율과 조명을 추정한다.
• 구조 인지 스무딩 손실이 반사율의 그래디언트에 의해 조명 TV를 가중해 구조를 보존하도록 한다.
• Enhance-Net은 다중 스케일 연결을 갖춘 인코더-디코더로 전역적 및 국소적 조명을 조정하고, 반사율에 대해 denoising 단계를 적용한다.
• 저조도 재구성 과정에서 어두운 영역의 노이즈 증폭을 완화하기 위해 반사율에 대한 denoising을 적용한다.
• 학습은 엔드-투-엔드 방식으로 이루어지며, 먼저 Decom-Net과 Enhance-Net을 개별적으로 학습시키고 이후 공동 미세 조정을 수행한다.

실험 결과

연구 질문

• RQ1 데이터 기반 Decom-Net이 ground-truth 분해 없이도 paired low-/normal-light 이미지에서 일관된 반사율을 학습할 수 있는가?
• RQ2 구조 인지 조명 스무스 손실이 장면의 구조를 보존하면서 조명 맵을 개선하는가?
• RQ3 다중 스케일 조명 조정 네트워크가 향상 과정에서 전역적 및 국소적 조명 변화를 일관되게 생성하는가?
• RQ4 반사율에 대한 공동 denoising이 최종 저조도 향상 결과를 개선하는가?
• RQ5 모델이 실제 및 합성 저조도 데이터셋에서 최첨단 방법과 비교해 얼마나 잘 수행하는가?

주요 결과

• 본 방법은 시각적으로 만족스러운 저조도 향상을 제공하고 의미 있는 분해 표현을 제시한다.
• Decom-Net은 조명 조건에 따라 일관된 반사율을 추출할 수 있으며, 어두운 영역에서의 노이즈 증폭이 반사율에 포착된다.
• 구조 인지 TV 유사 조명 손실은 구조를 보존하면서 조명을 부드럽게 만드는 데 기여한다.
• 다중 스케일 조명 조정은 전역 조명 일관성을 유지하면서 국부 분포를 맞춘다.
• 반사율에 대한 공동 denoising은 에지 보존을 개선하고 일부 기저선 대비 노이즈를 감소시킨다.
• Retinex-Net은 자연 및 합성 데이터셋에서 DeHZ, NPE, SRIE, LIME에 대해 품질 면에서 경쟁력 있는 정성적 결과를 보인다.