[논문 리뷰] Self-supervised Low Light Image Enhancement and Denoising

Yu Zhang, Xiaoguang Di외 4명|arXiv (Cornell University)|2021. 03. 01.

Image Enhancement Techniques참고 문헌 32인용 수 18

한 줄 요약

이 논문은 이미지 대trast 향상 네트워크(ICE-Net)와 재향상 및 노이즈 제거 네트워크(RED-Net)를 사용하여 저조도 이미지 향상 및 노이즈 제거를 위한 자기지도 학습 두 단계 딥러닝 프레임워크를 제안한다. 최대 엔트로피 기반 리티누스 모델과 노이즈 독립성 가정을 활용하여 쌍화된 학습 데이터 없이도 최신 기술 수준의 시각적 품질과 노이즈 감소를 달성하며, 세부 정보 보존 및 다양한 기기 간 적응성에서 지도 학습 방법을 초월한다.

ABSTRACT

This paper proposes a self-supervised low light image enhancement method based on deep learning, which can improve the image contrast and reduce noise at the same time to avoid the blur caused by pre-/post-denoising. The method contains two deep sub-networks, an Image Contrast Enhancement Network (ICE-Net) and a Re-Enhancement and Denoising Network (RED-Net). The ICE-Net takes the low light image as input and produces a contrast enhanced image. The RED-Net takes the result of ICE-Net and the low light image as input, and can re-enhance the low light image and denoise at the same time. Both of the networks can be trained with low light images only, which is achieved by a Maximum Entropy based Retinex (ME-Retinex) model and an assumption that noises are independently distributed. In the ME-Retinex model, a new constraint on the reflectance image is introduced that the maximum channel of the reflectance image conforms to the maximum channel of the low light image and its entropy should be the largest, which converts the decomposition of reflectance and illumination in Retinex model to a non-ill-conditioned problem and allows the ICE-Net to be trained with a self-supervised way. The loss functions of RED-Net are carefully formulated to separate the noises and details during training, and they are based on the idea that, if noises are independently distributed, after the processing of smoothing filters (\eg mean filter), the gradient of the noise part should be smaller than the gradient of the detail part. It can be proved qualitatively and quantitatively through experiments that the proposed method is efficient.

연구 동기 및 목표

• 쌍화된 실제 환경 학습 데이터가 없는 상황에서 저조도 이미지 향상과 동시에 대비 향상 및 노이즈 제거를 해결하고자 한다.
• 저조도 이미지만을 사용하여 지도 학습에 의존하지 않고 자기지도 학습을 가능하게 하여 데이터 의존도를 제거하고자 한다.
• 노이즈 제거를 효과적으로 수행하면서 세부 정보와 에지 보존을 위해 사전/후처리 노이즈 제거 파이프라인으로 인한 블러를 방지하고자 한다.
• 재학습이나 레이블 기반 기준 없이 다양한 기기, 조명 조건, 이미지 콘텐츠에 대해 강건한 방법을 개발하고자 한다.
• 자연 이미지의 사전 지식이나 노출 기반 기준 이미지에 대한 가정을 피하여 일반화 능력과 실제 적용 가능성을 향상시키고자 한다.

제안 방법

• ICE-Net은 반사율 이미지의 최대 채널이 입력 저조도 이미지와 일치하고 엔트로피를 최대화하도록 하는 최대 엔트로피 기반 리티누스(ME-Retinex) 모델을 통해 학습되며, 반사율과 조명의 정의되지 않은 분해를 안정화시킨다.
• ME-Retinex 모델은 반사율의 최대 채널을 입력 이미지와 연결하고 엔트로피를 최대화함으로써 조건이 나쁜 제약 조건을 유도하여 자기지도 학습을 가능하게 한다.
• RED-Net은 ICE-Net의 출력과 원본 저조도 이미지를 사용하여 재향상 및 노이즈 제거를 수행하며, 픽셀 간 노이즈가 독립적으로 분포된다는 가정을 활용한다.
• RED-Net에서 노이즈와 구조적 세부 정보의 분리를 스무딩 필터 이후의 기울기를 분석함으로써 달성한다: 노이즈 기울기는 세부 정보 기울기보다 작으며, 이는 손실 함수에서 기울기 기반 가중치 적용을 가능하게 한다.
• RED-Net의 손실 함수는 에지 및 세부 정보의 기울기를 강화하여 대비를 향상시키도록 설계되었으며, 이는 이전 방법들이 에지를 보존하는 것 외에는 고려하지 않았던 점과 다릅니다.
• 두 네트워크는 물리적 노이즈 및 반사율 가정에 기반한 자기지도 손실 함수를 통해 종합적으로 학습되며, 진짜 이미지가 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 쌍화된 실제 기준 이미지가 없는 상황에서 저조도 이미지 향상 및 노이즈 제거를 효과적으로 학습할 수 있는가?
• RQ2 자기지도 프레임워크는 저조도 조건에서 높은 대비와 세부 정보 보존을 유지하면서 노이즈를 효과적으로 제거할 수 있는가?
• RQ3 진짜 레이블이 없는 상황에서 노이즈와 구조적 세부 정보를 어떻게 분리할 수 있는가?
• RQ4 대비 향상 네트워크의 출력을 재향상함으로써 후처리 방법보다 노이즈 제거 및 세부 정보 복구 성능을 향상시킬 수 있는가?
• RQ5 재학습 없이 다양한 기기와 조명 조건에서 일반화 가능한가?

주요 결과

• 제안된 방법은 LOL 데이터셋에서 PSNR 18.34를 기록하여 KinD(17.64)와 Retinex-Net(16.82)을 능가하며, 뛰어난 노이즈 억제 성능을 보였다.
• LOL 데이터셋에서 SSIM 0.65를 기록하여 LIME(0.60), RRM(0.66), Retinex-Net(0.57)을 능가하며, 더 나은 구조 유사성을 보였다.
• 시각적 비교에서, 이 방법은 저조도 이미지의 텍스트 및 세부 구조(예: 책장과 그림자 안의 얼굴 세부 정보)를 LIME 및 Retinex-Net보다 더 잘 보존하였다.
• 비록 자기지도 학습임에도 불구하고, KinD와 같은 지도 학습 최신 기술 방법과 경쟁 가능한 성능을 보였으며, 특히 에지 선명도와 노이즈 감소에서 뛰어난 성능을 보였다.
• NIQE 점수 4.33(LOL 기준)로 인해 향상된 이미지가 자연 이미지 통계에서 벗어나 있음을 시사하며, 이는 손실 함수에 자연 이미지 사전 지식이 부족하기 때문일 것이다.
• 프레임워크는 사전/후처리 노이즈 제거 파이프라인으로 인한 블러를 성공적으로 방지하였으며, 비균일 조명과 고노이즈 수준에서도 높은 품질의 향상을 유지하였다.