[논문 리뷰] Low-light Image Enhancement Algorithm Based on Retinex and Generative Adversarial Network

Yangming Shi, Xiaopo Wu외 1명|arXiv (Cornell University)|2019. 06. 14.

Image Enhancement Techniques참고 문헌 42인용 수 30

한 줄 요약

이 논문은 저조도 이미지를 풍경과 조명 성분으로 분해한 후 생성적 적대적 네트워크를 사용하여 향상시키는 Retinex-GAN 프레임워크를 제안한다. CSID 데이터셋에서 PSNR 31.31과 SSIM 0.879의 최신 기술 수준 성능을 달성하며, 세밀한 디테일을 유지하면서 블러와 노이즈를 크게 감소시킨다.

ABSTRACT

Low-light image enhancement is generally regarded as a challenging task in image processing, especially for the complex visual tasks at night or weakly illuminated. In order to reduce the blurs or noises on the low-light images, a large number of papers have contributed to applying different technologies. Regretfully, most of them had served little purposes in coping with the extremely poor illumination parts of images or test in practice. In this work, the authors propose a novel approach for processing low-light images based on the Retinex theory and generative adversarial network (GAN), which is composed of the decomposition part for splitting the image into illumination image and reflected image, and the enhancement part for generating high-quality image. Such a discriminative network is expected to make the generated image clearer. Couples of experiments have been implemented under the circumstance of different lighting strength on the basis of Converted See-In-the-Dark (CSID) datasets, and the satisfactory results have been achieved with exceeding expectation that much encourages the authors. In a word, the proposed GAN-based network and employed Retinex theory in this work have proven to be effective in dealing with the low-light image enhancement problems, which will benefit the image processing with no doubt.

연구 동기 및 목표

• 실제 환경에서 저조도 및 노이즈가 있는 조건에서 저조도 이미지 증강 문제를 해결하기 위해.
• 인위적 데이터셋에 의존하는 기존 방법들이 극도로 어두운 또는 노이즈가 많은 이미지에서 실패하는 데 기인한 한계를 극복하기 위해.
• 더 나은 분해와 향상을 위해 Retinex 이론을 GAN과 통합하여 이미지 품질을 향상시키기 위해.
• 구조적 손실 함수를 통해 블러와 노이즈를 줄이고 고 fidelity 증강을 달성하기 위해.

제안 방법

• 이 방법은 Retinex 영감을 받은 네트워크 아키텍처를 사용하여 저조도 이미지를 조명 성분과 반사도 성분으로 분해한다.
• 생성적 적대적 네트워크(GAN)가 조명 성분을 향상시키기 위해 사용되며, 고품질이고 자연스러운 결과를 생성한다.
• 분해 과정이 Retinex 이론과 일치하고 국소 최적해를 피하기 위해 정규화 손실이 도입된다.
• 블러 감소와 인지적 품질 향상을 위해 구조적 유사도(SSIM) 손실과 스무스-L1 손실이 사용된다.
• 모델은 CSID 및 LOL 데이터셋의 쌍체로 구성된 실제 저조도 및 정상 조명 이미지에서 훈련된다.
• 다중 구성 요소 감독을 통해 최적화되며, GAN 손실, SSIM 손실, 스무스-L1 손실을 통합하여 안정성과 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 하이브리드 Retinex-GAN 모델은 세밀한 디테일을 유지하면서 저조도 이미지를 효과적으로 분해하고 향상시킬 수 있는가?
• RQ2 표준 L1 손실과 비교해 SSIM 및 스무스-L1 손실을 통합할 경우 인지적 품질 향상과 블러 감소에 어떤 기여를 하는가?
• RQ3 Retinex 기반 분해 방식은 극단적인 조명 조건 하에서도 저조도 증강의 강건성을 얼마나 향상시키는가?
• RQ4 인위적 또는 인위적으로 열악하게 만든 데이터셋과 비교해 실제 저조도 이미지에서 노이즈가 많을 경우 모델의 성능은 어떠한가?
• RQ5 제안된 방법은 고해상도에서 실시간 영상 처리를 위한 성능을 달성할 수 있는가?

주요 결과

• 제안된 Retinex-GAN은 CSID 데이터셋에서 밝기 수준 0.5에서 PSNR 31.31과 SSIM 0.879의 성능을 기록하며 기준 모델을 초월했다.
• 제거 실험 결과, GAN 손실, SSIM 손실, 스무스-L1 손실을 추가함으로써 기준 모델 대비 PSNR는 0.42 향상되고 SSIM은 0.016 향상되었다.
• 정규화 손실이 포함된 세 번째 전략(S3)은 S1 및 S2보다 더 일관되고 정확한 조명 및 반사도 분해를 제공했다.
• MSE는 S1의 111.27에서 S3 + GAN + SSIM + 스무스-L1의 99.12로 감소하여 더 나은 재구성 정밀도를 나타냈다.
• 강력한 성능에도 불구하고, 극도로 노이즈가 많은 입력에서는 어려움을 겪었으며, 책 표지의 텍스트와 같은 디테일이 손실된 실패 사례가 관찰되었다.
• 384×256 해상도에서는 91 FPS로 실행되었지만, 1280×720로 확장될 경우 11 FPS로 떨어져 실시간 영상 처리를 위한 최적화가 필요하다.