[논문 리뷰] Kindling the Darkness: A Practical Low-light Image Enhancer

Yonghua Zhang, Jiawan Zhang외 1명|arXiv (Cornell University)|2019. 05. 04.

Image Enhancement Techniques참고 문헌 31인용 수 84

한 줄 요약

KinD는 저조도 이미지를 조명과 반사율로 분해하여 빛을 분리적으로 조정하고 열화를 제거하는 방법으로 빠르고 유연한 향상을 실현하며, paired 노출로 학습되어 실제 정답 조명/반사율 맵 없이도 작동한다.

ABSTRACT

Images captured under low-light conditions often suffer from (partially) poor visibility. Besides unsatisfactory lightings, multiple types of degradations, such as noise and color distortion due to the limited quality of cameras, hide in the dark. In other words, solely turning up the brightness of dark regions will inevitably amplify hidden artifacts. This work builds a simple yet effective network for extbf{Kin}dling the extbf{D}arkness (denoted as KinD), which, inspired by Retinex theory, decomposes images into two components. One component (illumination) is responsible for light adjustment, while the other (reflectance) for degradation removal. In such a way, the original space is decoupled into two smaller subspaces, expecting to be better regularized/learned. It is worth to note that our network is trained with paired images shot under different exposure conditions, instead of using any ground-truth reflectance and illumination information. Extensive experiments are conducted to demonstrate the efficacy of our design and its superiority over state-of-the-art alternatives. Our KinD is robust against severe visual defects, and user-friendly to arbitrarily adjust light levels. In addition, our model spends less than 50ms to process an image in VGA resolution on a 2080Ti GPU. All the above merits make our KinD attractive for practical use.

연구 동기 및 목표

• 조명 증가, 열화 제거, 효율성을 균형 있게 달성하는 실용적인 저조도 향상을 제시한다.
• 학습 용이성을 높이기 위해 Retinex 기반 분해를 활용해 조명과 반사율을 분리한다.
• 실제 정답 반사율/조명 맵 없이 임의의 조명 조정이 가능하도록 한다.
• 조명 증가 과정에서 증폭되는 아티팩트를 제거하는 복원 모듈을 개발한다.
• 일반 벤치마크에서 최첨단 방법들보다 우수성을 입증한다.

제안 방법

• 층 분해 모듈에 따라 반사율과 조명을 위한 두 개의 분기를 갖는 KinD를 도입한다.
• 실제 맵 없이 반사율 유사성 및 조명 부드러움을 정규화하기 위해 페어드 저/고 노출 이미지로 학습한다.
• 조명에 의해 안내되는 반사율 복원 네트를 사용하여 반사율 구성 요소의 열화를 제거한다.
• 알파 기반 제어를 통한 유연한 매핑을 학습하는 조명 조정 네트를 채택한다.
• 재구성, 반사율 유사성, 조명 부드러움, 상호 일관성을 결합한 계층 분해 손실을 사용한다.
• LOL, LIME, NPE, MEF 데이터셋에서 PSNR, SSIM, LOE, NIQE로 평가한다.

실험 결과

연구 질문

• RQ1 하나의 저조도 이미지에서 조명을 효과적으로 추정하고 빛의 강도를 유연하게 조정하는 방법은?
• RQ2 어두운 영역을 밝힐 때 드러나는 노이즈와 색상 왜곡을 어떻게 제거할 수 있는가?
• RQ3 다른 노출의 페어드 이미지가 실제 정답 조명/반사율 맵 없이 모델을 학습시킬 수 있는가?
• RQ4 감마 보정보다 더 자연스러운 사용자 제어가 가능한 유연한 조명 매핑을 학습할 수 있는가?
• RQ5 KinD가 기존 최첨단 저조도 향상 방법들보다 우수한가?

주요 결과

• KinD는 LOL 데이터셋에서 PSNR, SSIM, NIQE 기준으로 경쟁 방법들을 능가하며 무참조 품질이 특히 더 우수하다.
• 본 방법은 열화 제거가 효과적이고 빛의 조정이 제어 가능한 시각적으로 만족스러운 결과를 제공한다.
• 학습된 알파 기반 매핑을 통한 조명 조정은 감마 보정보다 더 자연스러운 변화를 제공하여 사용자가 지시하는 조명을 가능하게 한다.
• 조명에 의해 안내되는 반사율 복원은 반사율의 순수한 노이즈 제거보다 복원 품질을 향상시킨다.
• 이 방법은 2080Ti GPU에서 VGA 이미지당 50 ms 미만의 런타임으로 실용적 효율성을 나타낸다.