[논문 리뷰] Enhancing Low-Light Images in Real World via Cross-Image Disentanglement

Lanqing Guo, Renjie Wan외 3명|arXiv (Cornell University)|2022. 01. 10.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 픽셀 정렬되지 않은 실세계 이미지 쌍을 사용하여 약한 감독 하에 저조도 이미지 향상 방법을 제안하며, 밝기 및 콘텐츠 특징을 이미지 간에 분리하여 조명을 향상시키고 노이즈를 억제하는 크로스-이미지 디센트레일션 네트워크(CIDN)를 도입한다. 이 방법은 픽셀 정렬 지도 없이도 실세계 및 합성 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Images captured in the low-light condition suffer from low visibility and various imaging artifacts, e.g., real noise. Existing supervised enlightening algorithms require a large set of pixel-aligned training image pairs, which are hard to prepare in practice. Though weakly-supervised or unsupervised methods can alleviate such challenges without using paired training images, some real-world artifacts inevitably get falsely amplified because of the lack of corresponded supervision. In this paper, instead of using perfectly aligned images for training, we creatively employ the misaligned real-world images as the guidance, which are considerably easier to collect. Specifically, we propose a Cross-Image Disentanglement Network (CIDN) to separately extract cross-image brightness and image-specific content features from low/normal-light images. Based on that, CIDN can simultaneously correct the brightness and suppress image artifacts in the feature domain, which largely increases the robustness to the pixel shifts. Furthermore, we collect a new low-light image enhancement dataset consisting of misaligned training images with real-world corruptions. Experimental results show that our model achieves state-of-the-art performances on both the newly proposed dataset and other popular low-light datasets.

연구 동기 및 목표

• 감독 학습을 위한 대규모로 픽셀 정렬된 저조도 및 정상 조도 이미지 쌍을 확보하는 데 도전하는 것.
• 실세계에서 정렬되지 않은 이미지 쌍을 활용하여 저조도 이미지 향상의 강인성을 향상시키는 것.
• 이미지 간의 밝기 특징과 이미지 고유의 콘텐츠 특징을 분리하여 함께 밝기 보정과 잔여 무결성 억제를 가능하게 하는 것.
• 재학습 없이도 실세계 조건(노이즈 및 노출 변화 포함)에 잘 일반화되는 방법을 개발하는 것.

제안 방법

• 크로스-이미지 디센트레일션 네트워크(CIDN)는 콘텐츠 인코더와 밝기 인코더를 갖춘 두 개의 인코더를 사용하여 저조도 및 정상 조도 이미지에서 분리된 특징을 추출한다.
• 밝기 특징은 이미지 간에 공유되어 크로스-이미지 밝기 보정을 가능하게 하며, 콘텐츠 특징은 구조 일致성을 유지하기 위해 보존된다.
• 특징 교환 기법을 적용: 정상 조도 이미지의 밝기 특징을 저조도 이미지의 콘텐츠 특징에 이관하여 조명을 향상시킨다.
• 콘텐츠 일致성, 재구성, 적대적, 지각적, KL 발산 손실을 조합한 다중 손실 학습 기반으로 학습을 안정화하고 현실감을 향상시킨다.
• 이 방법은 약한 감독 설정에서 작동하며, 픽셀 정확도가 떨어지는 이미지 쌍에서의 이미지 수준 지도만을 사용하여 픽셀 정렬이 필요 없도록 한다.
• 후처리 단계에서 원본 저조도 이미지의 RGB 채널 강도 비율을 조정하여 잔여 색조 오차를 보정한다.

실험 결과

연구 질문

• RQ1 완벽하게 정렬된 이미지 쌍 대신 정렬되지 않은 실세계 이미지 쌍을 사용하여 저조도 이미지 향상을 효과적으로 학습시킬 수 있는가?
• RQ2 이미지 간의 분리된 특징 학습이 실세계 환경에서의 이미지 정렬 오차 및 노이즈에 대해 강인성을 향상시킬 수 있는가?
• RQ3 제안된 방법은 쌍 지도 없이도 비지도 기반 기존 방법보다 더 나은 잔여 무결성 및 노이즈 억제 성능을 보일 수 있는가?
• RQ4 재학습 또는 미세조정 없이도 노출 보정 작업에 일반화될 수 있는가?
• RQ5 대규모 정렬되지 않은 데이터셋을 사용할 경우 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 CIDN 모델은 새로 도입된 NM2L 데이터셋과 공개된 저조도 데이터셋인 LOL에서 최신 기술 수준의 성능을 달성한다.
• Zero-DCE 및 EnlightenGAN과 같은 비지도 기반 방법보다 노이즈 억제 성능이 뛰어나며, 향상된 결과에서 잔여 무결성 증폭 현상을 방지한다.
• NM2L 데이터셋에서 학습할 경우, LOL 데이터셋만으로 학습하는 것보다 저품질 및 노이즈가 많은 입력에서 더 우수한 성능을 보이며, 실세계 오염 요소가 포함되어 있기 때문이다.
• LOL과 NM2L 데이터셋을 결합하여 학습할 경우 성능이 더욱 향상되며, 다양한 조명 및 노이즈 조건을 가진 다양한 훈련 데이터의 이점이 입증된다.
• 재학습 없이도 과노출 보정 작업에 일반화되어 도전적인 케이스에서 포토샵 수준의 결과를 생성한다.
• 정량적 결과는 참조 없는 기준에서 FID, LPIPS, PSNR 지표 향상을 보여주며, 향상된 이미지 품질과 현실감을 확인한다.