[논문 리뷰] Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement

Chunle Guo, Chongyi Li외 5명|arXiv (Cornell University)|2020. 01. 19.

Image Enhancement Techniques참고 문헌 36인용 수 141

한 줄 요약

제로-디-시(Zero-DCE)는 참조 이미지 없이 학습하여 저조도 이미지를 향상시키는 이미지-특정 곡선 매핑을 학습하고, 반복적이고 픽셀 단위의 고차 곡선을 통해 향상합니다. 비참조 손실을 사용해 학습을 안내하고 경량 모델로 최첨단 결과를 달성합니다.

ABSTRACT

The paper presents a novel method, Zero-Reference Deep Curve Estimation (Zero-DCE), which formulates light enhancement as a task of image-specific curve estimation with a deep network. Our method trains a lightweight deep network, DCE-Net, to estimate pixel-wise and high-order curves for dynamic range adjustment of a given image. The curve estimation is specially designed, considering pixel value range, monotonicity, and differentiability. Zero-DCE is appealing in its relaxed assumption on reference images, i.e., it does not require any paired or unpaired data during training. This is achieved through a set of carefully formulated non-reference loss functions, which implicitly measure the enhancement quality and drive the learning of the network. Our method is efficient as image enhancement can be achieved by an intuitive and simple nonlinear curve mapping. Despite its simplicity, we show that it generalizes well to diverse lighting conditions. Extensive experiments on various benchmarks demonstrate the advantages of our method over state-of-the-art methods qualitatively and quantitatively. Furthermore, the potential benefits of our Zero-DCE to face detection in the dark are discussed. Code and model will be available at https://github.com/Li-Chongyi/Zero-DCE.

연구 동기 및 목표

• 쌍대 데이터나 비쌍 데이터에 의존하지 않고도 저조도 향상을 동기 부여한다.
• 데이터 효율적인 심층 곡선 추정 프레임워크를 제안하여 이미지별 다이나믹 레인을 조정한다.
• 질 향상을 암시적으로 안내하기 위해 미분 가능 비참조 손실을 설계한다.
• 고차 보정을 위한 픽셀별 곡선 매개변수를 예측하는 경량 네트워크를 개발한다.

제안 방법

• Enhancement를 이미지-특정 곡선 추정으로 형식화하고 LE(I(x);α) = I(x) + α I(x)(1 - I(x))의 이차 곡선을 사용한다.
• LE를 높은 차수로 확장하기 위해 LE를 반복하여 LE_n을 얻고, 픽셀별 α를 픽셀당 보정 맵 A(x)로 만든다.
• DCE-Net를 구현하여 7층 CNN이 24개의 매개변수 맵을 출력하도록 하며(3 채널에서 8번 반복), 마지막에 Tanh 활성화를 적용한다.
• 공간적 일관성, 노출 제어, 색상 상수성, 조명 매끄러움 등을 포함한 비참조 손실로 학습한다.
• 손실을 미분 가능 프레임워크에 적용하여 엔드-투-엔드 제로-참조 학습이 가능하도록 한다.
• 픽셀 값 범위, 단조성 및 미분 가능성을 유지하여 매핑 중 이미지 구조를 보존한다.

실험 결과

연구 질문

• RQ1 참조 이미지(쌍 혹은 비쌍) 없이도 저조도 향상 모델을 학습할 수 있는가?
• RQ2 이미지-특정, 픽셀별 곡선 매핑이 다양한 조도 조건에서 다이나믹 레인을 견고하게 조정할 수 있는가?
• RQ3 Ground-truth 이미지가 없더라도 비참조 손실이 고품질 향상을 충분히 안내하는가?
• RQ4 경량 DCE-Net이 경쟁력 있는 성능과 실시간 추론이 가능한가?
• RQ5 이 방법이 어두움 속 얼굴 탐지와 같은 다운스트림 작업을 개선할 수 있는가?

주요 결과

• Zero-DCE는 참조 데이터 없이도 경쟁력 있거나 우수한 정성적·정량적 결과를 달성한다.
• 8번의 반복과 픽셀-당 곡선 맵을 가진 7층 DCE-Net은 벤치마크 세트에서 PSNR과 SSIM이 우수하며 MAE를 최소화한다.
• 비참조 손실(공간적 일관성, 노출 제어, 색상 상수성, 조명 매끄러움)은 ablation에서 보듯 이미지 품질에 크게 기여한다.
• Zero-DCE는 실시간으로 실행되며(640x480x3 이미지의 경우 GPU에서 약 500 FPS), 학습은 약 30분 정도 걸린다.
• 이 방법은 저조도에서 얼굴 탐지를 여러 기준선 대비 향상시킨다.
• Zero-DCE는 다양한 조도 조건에서도 우호적인 런타임 및 일반화 특성을 보인다.