[논문 리뷰] Deep Bilateral Retinex for Low-Light Image Enhancement

Jinxiu Liang, Yong Xu외 4명|arXiv (Cornell University)|2020. 07. 04.

Image Enhancement Techniques참고 문헌 50인용 수 16

한 줄 요약

이 논문은 저조도 영상 강화를 위한 딥 이중 Retinex 방법을 제안하며, 양면 공간에서 변형 가능한 컨볼루션을 사용하여 조명과 노이즈를 동시에 추정함으로써 공간적으로 변화하는 측정 노이즈에 대한 강건성을 크게 향상시킨다. 엣지 인식 손실과 구조적 사전 지식을 갖춘 통합된 딥 러닝 프레임워크를 통해 노이즈와 조명을 함께 모델링함으로써, 특히 극도로 어두운 조건에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Low-light images, i.e. the images captured in low-light conditions, suffer from very poor visibility caused by low contrast, color distortion and significant measurement noise. Low-light image enhancement is about improving the visibility of low-light images. As the measurement noise in low-light images is usually significant yet complex with spatially-varying characteristic, how to handle the noise effectively is an important yet challenging problem in low-light image enhancement. Based on the Retinex decomposition of natural images, this paper proposes a deep learning method for low-light image enhancement with a particular focus on handling the measurement noise. The basic idea is to train a neural network to generate a set of pixel-wise operators for simultaneously predicting the noise and the illumination layer, where the operators are defined in the bilateral space. Such an integrated approach allows us to have an accurate prediction of the reflectance layer in the presence of significant spatially-varying measurement noise. Extensive experiments on several benchmark datasets have shown that the proposed method is very competitive to the state-of-the-art methods, and has significant advantage over others when processing images captured in extremely low lighting conditions.

연구 동기 및 목표

• 저조도 영상에서 심각하고 공간적으로 변화하는 측정 노이즈로 인해 시야가 떨어지고 표준 강화 방법에서 잡음이 증폭되는 문제를 해결하기 위해.
• 반사율, 조명, 노이즈 층을 별도로 다루는 대신 함께 추정하여 Retinex 기반 영상 강화 성능을 향상시키기 위해.
• 이중 공간 표현을 사용하여 조명과 노이즈 간의 결합된 관계를 모델링하는 딥 러닝 프레임워크를 개발하기 위해.
• 신호 대 노이즈 비율(SNR)이 매우 낮고 전통적 방법이 실패하는 극도로 어두운 조건에서도 강건성을 향상시키기 위해.
• 조명 추정과 함께 노이즈 예측을 명시적으로 학습하여 Retinex 분해 중의 노이즈 증폭을 줄이기 위해.

제안 방법

• 이 방법은 이중 공간에서 Retinex 분해를 수행하며, 이미지를 I = R ⊙ E + N로 모델링한다. 여기서 R은 반사율, E는 조명, N은 측정 노이즈이다.
• 이중 공간에 정의된 픽셀 단위 연산자를 사용하여 딥 신경망을 학습시켜 동시에 조명 E와 노이즈 N을 예측한다.
• 고정되거나 강성 있는 수신장보다 더 나은 노이즈와 무늬의 구분을 가능하게 하기 위해, 공간적으로 적응형 샘플링 패턴을 학습하는 데 변형 가능한 컨볼루션을 사용한다.
• 손실 함수는 엣지 인식 기반 기울기 손실(ℓ_grad), 구조적 유사도(SSIM) 손실, 조명(ℒ_e)과 노이즈(ℒ_n)에 대한 정규화 항을 포함하며, 매끄러움을 위해 ℓ1 노름을 선호한다.
• 변형 가능한 컨볼루션에 대해 다중 척도 및 지수적 창 크기 전략을 사용하며, 15×15 수신장이 최적임을 발견하였다.
• 제거 실험을 통해 E와 N의 동시 추정의 필요성과, 조명 매끄러움에 대해 ℓ1 정규화가 ℓ2보다 우수함을 확인하였다.

실험 결과

연구 질문

• RQ1 이중 공간에서 조명과 노이즈를 동시에 추정하는 것이 저조도 영상에서 공간적으로 변화하는 측정 노이즈에 대한 강건성을 향상시키는가?
• RQ2 학습된 샘플링 위치를 가진 변형 가능한 컨볼루션은 고정되거나 강성 있는 수신장보다 노이즈와 무늬를 더 잘 구분하는가?
• RQ3 Retinex 분해 과정에서 노이즈를 명시적으로 모델링하는 것이 후처리 노이즈 제거나 노이즈 없는 이미지 추정보다 더 나은 성능을 내는가?
• RQ4 모서리 보존과 매끄러운 조명을 유지하면서 노이즈를 억제하기 위한 최적의 손실 함수 구성은 무엇인가?
• RQ5 제안된 방법은 최신 기술 수준(SOTA) 방법과 비교해 극도로 어두운 조건에서 어떻게 성능을 발휘하는가?

주요 결과

• 기준 데이터셋에서 제안된 방법은 PSNR 22.5156 dB와 SSIM 0.7864를 기록하여 DeepUPE 및 기타 최신 기술 수준(SOTA) 방법을 능가한다.
• 조명과 노이즈의 동시 추정은 노이즈 제거된 이미지 I−N을 추정하는 것보다 유의미하게 더 좋은 결과를 낸다. PSNR에서 1.47 dB 향상되었다.
• 15×15 수신장을 가진 변형 가능한 컨볼루션 사용이 최고의 성능을 내며, 적응형 공간 모델링의 중요성을 입증한다.
• 기울기 인식 손실(ℓ_grad)이나 조명 정규화(ℒ_e)를 제거하면 눈에 띄는 잡음과 성능 저하가 발생한다.
• 조명에 대해 ℓ1 정규화가 ℓ2보다 효과적이며, 평탄한 영역에서 과적합을 줄이고 매끄러움을 유지한다.
• 기존 방법이 노이즈 증폭과 낮은 세부 사항 복구 문제를 겪는 극도로 어두운 조건에서도 본 방법은 뛰어난 성능을 보였다.