[논문 리뷰] Unsupervised Real-world Low-light Image Enhancement with Decoupled Networks.

Wei Xiong, Ding Liu외 3명|arXiv (Cornell University)|2020. 05. 06.

Image Enhancement Techniques참고 문헌 41인용 수 10

한 줄 요약

이 논문은 실세계 저조도 이미지 강화를 조명 강화와 잡음 제거로 분리하는 두 단계의 완전 무 supervision GAN 기반 프레임워크를 제안한다. 쌍화되지 않은 데이터로 훈련하고 새로운 쌍화되지 않은 데이터셋을 도입함으로써, 쌍화된 훈련 데이터 없이도 조명 복구 및 잡음 감소 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Conventional learning-based approaches to low-light image enhancement typically require a large amount of paired training data, which are difficult to acquire in real-world scenarios. Recently, unsupervised models for this task have been explored to eliminate the use of paired data. However, these methods primarily tackle the problem of illumination enhancement, and usually fail to suppress the noises that ubiquitously exist in images taken under real-world low-light conditions. In this paper, we address the real-world low-light image enhancement problem by decoupling this task into two sub-tasks: illumination enhancement and noise suppression. We propose to learn a two-stage GAN-based framework to enhance the real-world low-light images in a fully unsupervised fashion. In addition to conventional benchmark datasets, a new unpaired low-light image enhancement dataset is built and used to thoroughly evaluate the performance of our model. Extensive experiments show that our method outperforms the state-of-the-art unsupervised image enhancement methods in terms of both illumination enhancement and noise reduction.

연구 동기 및 목표

• 쌍화된 훈련 데이터에 의존하지 않고 실세계 저조도 이미지 강화 문제를 해결한다.
• 기존의 무 supervision 방법이 저조도 이미지에서 잡음을 효과적으로 억제하지 못하는 한계를 극복한다.
• 강화 작업을 두 개의 하위 작업으로 분리한다: 조명 강화와 잡음 억제.
• 쌍화되지 않은 실세계 저조도 이미지만을 사용하여 훈련하는 완전 무 supervision 프레임워크를 개발한다.
• 실제 평가를 위한 현실적인 기준을 확보하기 위해 새로 구축한 쌍화되지 않은 저조도 이미지 강화 데이터셋을 활용해 방법을 평가한다.

제안 방법

• 저조도 이미지 강화를 두 가지 구분되는 하위 작업으로 분해한다: 조명 강화와 잡음 억제.
• 첫 번째 단계에서 조명을 강화하고 두 번째 단계에서 잡음을 억제하는 두 단계의 GAN 기반 아키텍처를 설계한다.
• 쌍화되지 않은 실세계 저조도 이미지와 정상 조명 이미지만을 사용하여 완전히 무 supervision 방식으로 모델을 훈련시킨다.
• 포괄적인 평가를 지원하기 위해 새로운 쌍화되지 않은 저조도 이미지 강화 데이터셋을 도입한다.
• 이미지 품질과 현실감을 향상시키기 위해 사이클 일致성과 인지적 손실을 사용한 적대적 훈련을 수행한다.
• 특징 수준의 정렬과 도메인 특화의 판별기를 활용하여 조명 및 잡음 성분의 분리 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 완전히 무 supervision 프레임워크는 쌍화된 훈련 데이터 없이도 실세계 저조도 이미지를 효과적으로 강화할 수 있는가?
• RQ2 조명 강화와 잡음 억제를 분리함으로써 공동 최적화보다 더 뛰어난 성능을 달성할 수 있는가?
• RQ3 제안된 방법은 최신 기술 수준의 무 supervision 방법과 비교해 잡음 억제 및 조명 복구 측면에서 어떻게 성능을 발휘하는가?
• RQ4 새로가 구축한 쌍화되지 않은 데이터셋은 저조도 강화 모델의 평가에 어느 정도 향상 효과를 미치는가?
• RQ5 쌍화된 데이터가 이용 불가한 실세계 저조도 조건에서도 모델이 일반화 성능을 발휘할 수 있는가?

주요 결과

• 제안된 방법은 조명 강화 및 잡음 감소 측면에서 최신 기술 수준의 무 supervision 이미지 강화 방법을 모두 능가한다.
• 두 단계로 분리된 프레임워크는 새로 구축한 쌍화되지 않은 저조도 이미지 강화 데이터셋에서 뛰어난 성능을 발휘한다.
• 무 supervision 훈련 파라다임 덕분에 모델은 실세계 저조도 조건에 대해 강력한 일반화 성능을 보인다.
• 제거 분석 결과, 작업을 분리함으로써 더 나은 잡음 억제와 더 자연스러운 조명 복구가 가능하다는 것이 확인되었다.
• 기본 무 supervision 모델 대비 더 높은 FID 및 LPIPS 점수를 기록하여 더 나은 이미지 품질과 현실감을 보여준다.
• 정성적 및 정량적 평가를 통해 모델은 효과적으로 잡음을 감소시키면서도 구조적 세부 정보를 유지함을 입증했다.