[논문 리뷰] PSENet: Progressive Self-Enhancement Network for Unsupervised Extreme-Light Image Enhancement

Hue Minh Thi Nguyen, Diep Tran외 2명|arXiv (Cornell University)|2022. 10. 03.

Image Enhancement Techniques인용 수 4

한 줄 요약

PSENet는 다중 노출 시뮬레이션 소스를 활용한 점진적 자기 향상 기반으로 가짜 진짜 이미지(가짜 GT)를 생성하는 새로운 비지도 학습 프레임워크를 제안한다. 주로 시각적 품질 점수—적절한 노출, 국소 대비, 색상 채도—기반으로 최고 성능을 보이는 영역을 반복적으로 선택함으로써, 실제 진짜 이미지가 전혀 필요 없이 과노출 및 과도하게 어두운 영역을 모두 효과적으로 향상시키며, 현재 최고 수준의 성능을 달성한다.

ABSTRACT

The extremes of lighting (e.g. too much or too little light) usually cause many troubles for machine and human vision. Many recent works have mainly focused on under-exposure cases where images are often captured in low-light conditions (e.g. nighttime) and achieved promising results for enhancing the quality of images. However, they are inferior to handling images under over-exposure. To mitigate this limitation, we propose a novel unsupervised enhancement framework which is robust against various lighting conditions while does not require any well-exposed images to serve as the ground-truths. Our main concept is to construct pseudo-ground-truth images synthesized from multiple source images that simulate all potential exposure scenarios to train the enhancement network. Our extensive experiments show that the proposed approach consistently outperforms the current state-of-the-art unsupervised counterparts in several public datasets in terms of both quantitative metrics and qualitative results. Our code is available at https://github.com/VinAIResearch/PSENet-Image-Enhancement.

연구 동기 및 목표

• 실생활 사진에서 흔한 과도하게 어두운 영역과 과도하게 밝은 영역을 동시에 효과적으로 향상시킬 수 있는 효과적인 비지도 학습 방법의 부족을 해결한다.
• 기존 비지도 학습 방법이 과노출에 대해 실패하는 한계를 극복하기 위해 자기 지도 학습 기반의 가짜 GT 생성 메커니즘을 도입한다.
• 동일한 입력에 대한 다중 노출 변형에서 가짜 GT를 합성함으로써, 비용이 많이 들고 쌍으로 구성된 실제 잘 노출된 영상이 필요 없도록 한다.
• 점진적 개선을 통해 영상 품질을 향상시키며, 각 에포크의 출력이 이전 것보다 나아지도록 보장한다.
• 적절한 노출, 국소 대비, 색상 채도 기반의 시각적 기반 비참조 품질 점수를 개발하여, 가짜 GT 구축을 위한 최적의 영역 선택을 이끌어낸다.

제안 방법

• 입력 영상, 그의 감마 조정된 더 밝거나 어두운 변형, 그리고 이전 학습 에포크에서의 네트워크 자체 출력을 포함한 네 개의 소스에서 영역을 조합하여 가짜 진짜 이미지를 구성한다.
• 적절한 노출, 국소 대비, 색상 채도 기반의 비참조 시각적 품질 점수를 사용하여 다양한 소스 간의 영역을 평가하고 최상의 영역을 선택한다.
• 영역별 비교 및 융합 전략(RCS)을 적용하여 점진적으로 가짜 GT를 개선함으로써, 학습 에포크 전반에 걸쳐 향상이 이루어지도록 한다.
• 생성된 가짜 GT를 사용하여 종단 간 강화 네트워크를 훈련함으로써, 쌍으로 구성된 실제 진짜 이미지가 전혀 없이도 자기 지도 학습이 가능하도록 한다.
• 적절한 노출 수준을 제어하고 과도하게 어두운 영역과 과도하게 밝은 영역의 성능 균형을 맞추기 위해, 목표 밝기 범위를 제어하는 하이퍼파라미터 μ를 최적화한다.
• 가짜 GT 생성을 점진적 학습 루프에 통합함으로써, 이전 에포크의 네트워크 출력이 다음 반복의 개선에 핵심 자료로 활용되도록 한다.

Figure 1: Visual comparison on an over-exposed scene. Most of the previous state-of-the-art failed to recover the over-exposed case except recent work proposed by Afifi et al . [ 1 ] , which is trained with full supervision.

실험 결과

연구 질문

• RQ1 실제 진짜 이미지가 없는 조건에서 자기 지도 프레임워크가 과도하게 어두운 영역과 과도하게 밝은 영역을 효과적으로 향상시킬 수 있는가?
• RQ2 적절한 노출, 대비, 채도 기반의 비참조 시각적 품질 점수가 가짜 GT 생성을 얼마나 효과적으로 이끌 수 있는가?
• RQ3 네트워크의 이전 출력을 활용한 점진적 개선 전략이 영상 강화 품질 향상에 일관되게 기여하는가?
• RQ4 적절한 노출 수준 μ의 선택이 모델의 극단적인 조명 조건에서의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 쌍으로 구성된 감독 없이도, SICE 및 Afifi와 같은 벤치마크 데이터셋에서 기존 비지도 학습 방법을 능가할 수 있는가?

주요 결과

• PSENet는 기본 네트워크 너비(채널 수 ×1)를 사용할 때 SICE 데이터셋에서 최고 성능을 기록하며, PSNR 17.74, SSIM 0.704를 달성한다.
• Afifi 데이터셋에서는 PSNR 19.36, SSIM 0.869를 기록하여, 모든 비지도 기반 기준 모델을 능가하며 감독 기반 최고 수준의 성능에 가까이 다가선다.
• 적절한 노출 수준 μ = 0.5로 학습된 모델가 과도하게 어두운 영역과 과도하게 밝은 영역의 복구 간 최적의 균형을 이루며 가장 높은 정량적 점수를 기록한다.
• 시각적 비교 결과, PSENet는 ZeroDCE, EnlightenGAN 및 Zheng과 Gupta [45]에 비해 대비 향상, 색상 유지, 세부 사항 복구 측면에서 뛰어난 성능을 보이며, 그림자나 하이라이트 영역과 같은 도전적인 영역에서도 유의미한 개선을 이룬다.
• 절단 실험 결과, 제안된 품질 점수와 영역 조합 전략(RCS)이 이전 방법보다 뚜렷이 뛰어나며, [25]의 베이스라인 대비 1.64 PSNR 향상을 기록한다.
• 모델는 다양한 네트워크 너비에서도 안정적으로 작동하며, 파rameter 스케일링 시 성능 저하가 최소화되어 안정적이고 일반화 능력이 뛰어나다는 것을 확인한다.

Figure 2: Overview of our proposed framework which comprises three main modules: reference image generator, pseudo GT image generator, and enhancement network. Given the input image $I$ , the reference image generator randomly generates multiple reference images with different exposure values, half