[논문 리뷰] Self-supervised Image Enhancement Network: Training with Low Light Images Only

Yu Zhang, Xiaoguang Di외 2명|arXiv (Cornell University)|2020. 02. 26.

Image Enhancement Techniques참고 문헌 43인용 수 91

한 줄 요약

자기지도 기반의 저조도 이미지 향상 방법으로 최대 엔트로피 Retinex 모델을 사용하며, 비대 paired 데이터 없이도 빠르고 실시간으로 향상된 결과를 얻습니다.

ABSTRACT

This paper proposes a self-supervised low light image enhancement method based on deep learning. Inspired by information entropy theory and Retinex model, we proposed a maximum entropy based Retinex model. With this model, a very simple network can separate the illumination and reflectance, and the network can be trained with low light images only. We introduce a constraint that the maximum channel of the reflectance conforms to the maximum channel of the low light image and its entropy should be largest in our model to achieve self-supervised learning. Our model is very simple and does not rely on any well-designed data set (even one low light image can complete the training). The network only needs minute-level training to achieve image enhancement. It can be proved through experiments that the proposed method has reached the state-of-the-art in terms of processing speed and effect.

연구 동기 및 목표

• paired normal-light data를 요구하지 않고 저조도 이미지 향상 개선을 모티브로 삼는다.
• 반사율과 조명을 분리하기 위한 최대 엔트로피 기반 Retinex 모델을 소개한다.
• 저조도 이미지만으로 자기지도 학습이 가능한 간단한 CNN을 설계한다.
• 실시간 성능과 다양한 환경 및 기기 간 우수한 일반화를 시연한다.

제안 방법

• 재구성, 반사율, 조명 손실을 L1 노름과 결합한 최대 엔트로피 기반 Retinex 목표를 형식화한다.
• 반사율을 최대 채널과 그 히스토그램 균등화 엔트로피로 제약한다.
• 구조 정보를 보존하기 위한 구조 인식 평활도 손실을 조명에 적용한다.
• 끝에서 Sigmoid를 통해 반사율과 조명을 출력하는 간단한 완전 컨볼루션 네트워크를 채택한다.
• paired 데이터 없이도 단일 저조도 이미지만으로 자기지도 학습으로 네트워크를 학습한다.
• objective 지표를 사용하고 고전 기법 및 최신 방법과 비교 평가한다.

실험 결과

연구 질문

• RQ1 저조도 이미지 향상을 오직 저조도 이미지 만으로 자기지도 방식으로 학습할 수 있는가?
• RQ2 최대 엔트로피 Retinex 표현이 참조 데이터 없이도 좋은 반사율/조명 분해 및 향상된 이미지를 제공하는가?
• RQ3 제안 방법이 품질과 속도 측면에서 지도 학습 및 다른 비지도 방법과 어떻게 비교되는가?
• RQ4 단일 이미지 대 다중 저조도 이미지로 학습했을 때 안정성과 인공물에 미치는 영향은 무엇인가?

주요 결과

GE	GMI	CE	GMG	LOE 로우	LOE 하이	NIQE	PSNR	SSIM	시간
7.785	105.3	23.21	17.12	505.3	898.6	5.201	15.81	0.5607	-
6.947	134.7	17.61	16.93	540.3	950.1	8.008	16.69	0.5262	-
7.070	96.67	20.787	20.38	1607.7	1867.8	9.135	16.97	0.5894	-
6.937	85.99	20.16	17.47	840.9	1197.7	9.713	16.97	0.6049	-
6.296	50.33	18.62	9.380	952.0	1291.4	7.535	11.86	0.4978	-
7.564	114.9	21.72	23.46	1303.5	1543.7	9.127	16.76	0.5644	-
7.116	119.0	21.52	9.918	902.5	1205.5	6.797	19.72	0.7035	-
6.835	110.2	21.13	24.00	1990.1	1988.8	9.730	16.77	0.5594	-
7.030	88.08	20.94	10.27	529.0	1028.2	4.422	14.18	0.5169	-
7.180	108.7	21.65	7.653	1210.8	1384.1	4.793	19.15	0.7108	0.0145
7.030	88.08	20.94	10.27	529.0	1028.2	4.422	14.18	0.5169	0.0145
7.040	115.5	21.31	6.910	921.9	-	4.253	-	1	-

• 본 방법은 전통적 및 딥러닝 기반 베이스라인에 비해 최첨단 처리 속도와 경쟁력 있는 향상 품질을 달성한다.
• 저조도 이미지 만으로, 심지어 단일 이미지로도 학습이 가능하며 분당 수준의 학습 시간과 실시간 성능을 달성한다.
• 제안된 최대 엔트로피 Retinex 모델은 엔트로피 기반 제약으로 반사율과 조명의 효과적인 분리를 제공한다.
• 초기 중단은 다수 에폭에 걸친 학습에서 노이즈와 인공물을 피하는 데 도움이 된다.
• LOL 데이터셋에 대한 정량적 결과는 PSNR/SSIM에서 경쟁적이며 여러 베이스라인에 비해 양호한 정성적 결과를 보인다.
• 단일 이미지 학습은 충분한 에폭으로도 가능하고 인공물 없이 새로운 환경에 강한 적응성을 보여준다.