[논문 리뷰] SID-NISM: A Self-supervised Low-light Image Enhancement Framework

Lijun Zhang, Xiao Liu외 2명|arXiv (Cornell University)|2020. 12. 16.

Image Enhancement Techniques참고 문헌 24인용 수 4

한 줄 요약

이 논문은 레이블이 없는 훈련 데이터를 필요로 하지 않고 저조도 이미지를 반사율, 조명, 노이즈 성분으로 분해하는 자기지도 학습 기반 저조도 이미지 향상 프레임워크인 SID-NISM을 제안한다. 자기지도 학습 이미지 분해 네트워크(SID-Net)와 비선형 조명 포화 매핑 함수(NISM)를 활용하여, 더 적은 잡음과 더 자연스러운 결과를 얻을 수 있으며, 주관적 및 객관적 평가에서 최신 기법들을 능가한다. 특히 저조도 조건에서의 객체 탐지 작업에서 mAP가 33.39%로 기록되었다.

ABSTRACT

When capturing images in low-light conditions, the images often suffer from low visibility, which not only degrades the visual aesthetics of images, but also significantly degenerates the performance of many computer vision algorithms. In this paper, we propose a self-supervised low-light image enhancement framework (SID-NISM), which consists of two components, a Self-supervised Image Decomposition Network (SID-Net) and a Nonlinear Illumination Saturation Mapping function (NISM). As a self-supervised network, SID-Net could decompose the given low-light image into its reflectance, illumination and noise directly without any prior training or reference image, which distinguishes it from existing supervised-learning methods greatly. Then, the decomposed illumination map will be enhanced by NISM. Having the restored illumination map, the enhancement can be achieved accordingly. Experiments on several public challenging low-light image datasets reveal that the images enhanced by SID-NISM are more natural and have less unexpected artifacts.

연구 동기 및 목표

• 대규모 쌍체 훈련 데이터에 의존하는 감독 학습 기반 기법이 저조도 이미지 향상에 한계를 보이는 문제를 해결하기 위해.
• 기본 이미지나 사전 훈련이 필요 없는 자기지도 프레임워크를 개발하기 위해.
• 리티나크스 이론을 기반으로 이미지를 반사율, 조명, 노이즈 성분으로 분해하여 이미지 품질을 향상시키기 위해.
• 어두운 영역의 밝기를 향상시키면서도 자연스럽지 않은 잡음 요소를 최소화하고 대비를 유지하기 위해.
• 객체 탐지와 같은 후속 컴퓨터 비전 작업에서의 성능 평가를 위해.

제안 방법

• SID-NISM는 저조도 이미지와 그 히스토그램 균형화 버전을 반사율, 부드러운 조명, 노이즈 지ap으로 분해하는 자기지도 학습 이미지 분해 네트워크(SID-Net)를 활용한다.
• SID-Net은 반사율과 노이즈 전용 항목을 포함한 새로운 손실 함수를 사용하며, 표준 정규화와 결합하여 물리적으로 타당한 결과를 유도한다.
• 조명 지도는 비선형 조명 포화 매핑(NISM) 함수를 통해 향상되며, 과도한 노출 없이 대비를 유지하면서 어두운 영역을 밝게 한다.
• 최종적으로 얻어진 향상된 이미지는 노이즈 제거된 반사율과 향상된 조명 지도를 조합하여 재구성된다.
• 프레임워크는 쌍체 훈련 데이터가 필요 없이 입력 이미지와 그 히스토그램 균형화된 변형만을 사용해 엔드 투 엔드로 훈련된다.
• 공개 데이터셋인 LOL 및 MEF를 대상으로 최신 기법들과의 비교를 위해 객관적 지표와 인간 인식 연구를 모두 수행하였다.

실험 결과

연구 질문

• RQ1 쌍체 훈련 데이터나 사전 지식에 의존하지 않고도 자기지도 프레임워크가 고성능 저조도 이미지 향상을 달성할 수 있는가?
• RQ2 제안된 SID-Net이 저조도 이미지를 자기지도 방식으로 물리적으로 의미 있는 성분(반사율, 조명, 노이즈)으로 분해하는 데 얼마나 효과적인가?
• RQ3 NISM 함수가 대비를 유지하면서 과도하게 밝게 하지 않고 조명 향상에 얼마나 기여하는가?
• RQ4 향상된 이미지 품질이 객체 탐지와 같은 후속 컴퓨터 비전 작업에 어떤 영향을 미치는가?
• RQ5 반사율과 노이즈에 대한 제안된 손실 항목이 전체 이미지 품질 향상과 잡음 감소에 기여하는 정도는 어느 정도인가?

주요 결과

• SID-NISM는 ExDark 데이터셋에서 객체 탐지 작업에서 mAP 33.39%를 기록하여 원본 저조도 이미지(31.54%)를 능가했으며, 최고 성능 기법인 LIME(33.98%)와 유사한 성능을 보였다.
• LOL 및 MEF 데이터셋에서 PSNR, SSIM, GE, CE, GMI, GMG, NIQE 등 다양한 지표에서 뛰어난 성능을 기록하여 더 우수한 전체 이미지 품질과 자연스러움을 입증했다.
• SID-Net에 새로 도입된 $γ_{R}$ 및 $γ_{N}$ 손실 항목의 포함으로 색상 충실도, 기울기 보존, 노이즈 억제가 크게 향상되었다.
• 인간 인식 연구 결과, 참가자들은 SID-NISM 출력 결과를 경쟁 기법들보다 더 선호했으며, 예기치 않은 잡음 요소가 적다고 보고했다.
• 외부 훈련 데이터 없이도 뛰어난 성능을 달성하여 자기지도 학습이 저조도 향상에 효과적임을 입증했다.
• 객관적 지표와 주관적 평가에서 모두 기존 최신 기법들을 능가하며, 이는 프레임워크의 강건성과 시각적 품질을 확인시켰다.