[논문 리뷰] Low-Light Image Enhancement via Structure Modeling and Guidance

Xiaogang Xu, Ruixing Wang외 1명|arXiv (Cornell University)|2023. 05. 10.

Image Enhancement Techniques인용 수 5

한 줄 요약

이 논문은 GAN으로 훈련된 구조 인식 생성 모델과 구조 유도 향상 모듈을 사용하여 구조적 에지와 외관 향상을 동시에 모델링하는 새로운 저조도 이미지 향상 프레임워크를 제안한다. 날카운 결과를 얻기 위해 에지 맵을 활용함으로써, sRGB 및 RAW 데이터셋 전반에서 PSNR와 SSIM에서 일관된 향상으로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

This paper proposes a new framework for low-light image enhancement by simultaneously conducting the appearance as well as structure modeling. It employs the structural feature to guide the appearance enhancement, leading to sharp and realistic results. The structure modeling in our framework is implemented as the edge detection in low-light images. It is achieved with a modified generative model via designing a structure-aware feature extractor and generator. The detected edge maps can accurately emphasize the essential structural information, and the edge prediction is robust towards the noises in dark areas. Moreover, to improve the appearance modeling, which is implemented with a simple U-Net, a novel structure-guided enhancement module is proposed with structure-guided feature synthesis layers. The appearance modeling, edge detector, and enhancement module can be trained end-to-end. The experiments are conducted on representative datasets (sRGB and RAW domains), showing that our model consistently achieves SOTA performance on all datasets with the same architecture.

연구 동기 및 목표

• 기존 저조도 향상 방법이 구조적 세부 정보를 명시적으로 모델링하지 못해 뿌연 결과와 낮은 SSIM을 유도하는 한계를 해결한다.
• 에지를 구조적 사전 지식으로 모델링하여 어두운 노이지 영역에서 재구성 품질과 구조적 충실도를 향상시킨다.
• 외관 향상과 구조적 세부 정보 복원을 동시에 수행하는 통합형 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.
• sRGB 및 RAW 도메인을 포함한 다양한 데이터셋에서 일반화 능력과 강건성을 입증하며, 일관된 SOTA 성능을 유지한다.

제안 방법

• 저조도 이미지와 그 기울기에서 구조 인식 특징을 추출하기 위해 공간적으로 변화하는 연산(적응형 장거리 및 단거리 계산)을 적용하는 구조 인식 특징 추출기(SAFE)를 설계한다.
• GAN 손실을 사용하여 수정된 스타일 GAN 기반 생성 모델(S)을 훈련시켜 에지 맵을 예측함으로써 어두운 영역의 노이즈와 낮은 시야에 대한 강건성을 향상시킨다.
• 예측된 에지 맵에서 유도된 공간적 적응형 컨볼루션과 정규화 파rameter를 사용하여 외관 특징를 정밀하게 개선하는 구조 유도 향상 모듈(SGEM)을 도입한다.
• SGEM을 통해 잔차 보정이 이루어지는 경량 U-Net 백본을 통한 외관 모델링을 구현한다.
• GAN, L2, 그리고 인지적 손실을 조합한 손실을 사용하여 구조 모델(S), 외관 모델(A), 향상 모듈(E)을 엔드 투 엔드로 동시에 훈련시킨다.
• 일반적인 밝은 조명 이미지에서의 해당 지도(예: 세분화, 깊이)를 사용하여 S를 재학습함으로써 다른 구조적 표현(예: 세분화, 깊이)으로의 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 에지 예측을 통한 명시적 구조 모델링이 저조도 이미지 향상 품질 향상과 뿌연 현상 감소에 기여하는가?
• RQ2 기존의 회귀 기반 접근 방식과 비교해, 저조도 이미지에서 구조 모델링에 GAN 손실을 사용할 경우 아티팩트 감소와 에지 정확도 측면에서 어떤 차이가 있는가?
• RQ3 구조 유도 특징 합성 기법이 표준 U-Net 아키텍처를 초월해 외관 재구성 품질을 얼마나 향상시키는가?
• RQ4 제안된 프레임워크는 sRGB와 RAW와 같은 다양한 이미지 도메인 간에 일반화 가능하며, 동일한 아키텍처로 SOTA 성능을 유지하는가?
• RQ5 AVA 데이터셋에서 추가적인 지도 데이터를 활용해 구조 모델(S)을 미세 조정할 경우, 극도로 어두운 영역에서의 구조 모델링 품질은 어떻게 향상되는가?

주요 결과

• 제안된 방법은 모든 벤치마크 데이터셋(SID, LOL-합성, LOL-실제, sRGB/RAW 도메인)에서 SOTA 성능을 달성하였으며, LOL-실제 데이터셋에서 PSNR 24.62 dB, SSIM 0.867을 기록하여 모든 베이스라인을 초월한다.
• 제거 실험을 통해 구조 모델링에서 GAN 손실이 아티팩트를 크게 감소시키고 특히 노이즈가 많고 어두운 영역에서 에지 맵 품질을 향상시킨다는 것이 확인되었다.
• 구조 유도 향상 모듈(SGEM)은 외관 재구성 품질을 효과적으로 향상시키며, 이를 포함하지 않은 실험 대비 더 높은 PSNR 및 SSIM 점수를 기록하였다.
• AVA 데이터셋에서의 추가 데이터를 사용해 구조 모델(S)을 미세 조정함으로써 성능이 더욱 향상되었으며, LOL-실제 데이터셋에서 PSNR 25.57 dB, SSIM 0.885를 달성하였다.
• 100명의 참가자들이 수행한 사용자 연구 결과, 본 방법은 시각적 품질 측면에서 베이스라인 대비 뚜렷하게 높은 평가(4–5점)를 받고 낮은 평가(1–2점)를 더 적게 받는 것으로 확인되었다.
• DPT 기반 지도를 사용할 경우, 다른 구조적 표현(예: 세분화, 깊이 맵)으로의 일반화 능력이 뛰어나며, 결과적으로 모든 베이스라인 대비 일관되게 뛰어난 성능을 기록하였다.