[논문 리뷰] Learning Semantic-Aware Knowledge Guidance for Low-Light Image Enhancement

Yuhui Wu, Pan Chen외 5명|arXiv (Cornell University)|2023. 04. 14.

Image Enhancement Techniques인용 수 11

한 줄 요약

SKF는 사전 학습된 세그먼테이션 네트워크로부터 의미적 사전 지식을 도입하여 특징 수준 임베딩, 의미 가이드 컬러 히스토그램 손실, 그리고 의미 가이드 적대적 손실을 통해 저조도 이미지 향상을 이끌고, 여러 LLIE 기본 모델 및 데이터셋 전반에 걸쳐 일관된 개선을 얻습니다.

ABSTRACT

Low-light image enhancement (LLIE) investigates how to improve illumination and produce normal-light images. The majority of existing methods improve low-light images via a global and uniform manner, without taking into account the semantic information of different regions. Without semantic priors, a network may easily deviate from a region's original color. To address this issue, we propose a novel semantic-aware knowledge-guided framework (SKF) that can assist a low-light enhancement model in learning rich and diverse priors encapsulated in a semantic segmentation model. We concentrate on incorporating semantic knowledge from three key aspects: a semantic-aware embedding module that wisely integrates semantic priors in feature representation space, a semantic-guided color histogram loss that preserves color consistency of various instances, and a semantic-guided adversarial loss that produces more natural textures by semantic priors. Our SKF is appealing in acting as a general framework in LLIE task. Extensive experiments show that models equipped with the SKF significantly outperform the baselines on multiple datasets and our SKF generalizes to different models and scenes well. The code is available at Semantic-Aware-Low-Light-Image-Enhancement.

연구 동기 및 목표

• 저조도 이미지에서 영역별 색상과 디테일을 보존하기 위해 의미 정보를 활용하도록 향상 방법을 고무한다.
• LLIE에 대한 priors를 제공하기 위해 사전 학습된 세그먼테이션 네트워크에서 의미 지식 뱅크(SKB)를 제안한다.
• 의미 인식 임베딩 모듈(SE)을 설계하여 의미 정보와 이미지 특징을 융합한다.
• 지역 간 색상 일관성을 강제하기 위해 의미 가이드 컬러 히스토그램 손실을 도입한다.
• 의미 사전 지식에 의해 자연스러운 질감을 생성하도록 의미 가이드 적대적 손실(SA)을 개발한다.

제안 방법

• HRNet을 PASCAL-Context에서 사전 학습된 의미 지식 뱅크(SKB)로 사용한다.
• 의미 인식 임베딩(SE) 모듈을 도입하여 의미와 이미지 특징 간의 다중 스케일 교차 모드 상호작용을 의미 인식 주의 메커니즘을 통해 수행한다.
• 의미 지도에 의해 향상된 이미지의 영역을 분할하고 각 영역의 미분 가능한 히스토그램을 추정함으로써 영역별 색상 일관성을 강제하는 의미 가이드 컬러 히스토그램(SCH) 손실을 제안한다.
• 의미 가이드 글로벌 판별기와 세그먼트 지도에 의해 가이드된 영역에 초점을 맞춘 로컬 패치 기반 판별기를 결합하여 의미 가이드 적대적(SA) 손실을 정의한다.
• 학습 향상 네트워크를 L_all = L_recon + lambda_SCH * L_SCH + lambda_SA * L_SA로 구성된 손실로 훈련한다. 여기서 L_recon은 작업 특화 재구성 손실이다.

실험 결과

연구 질문

• RQ1 세그먼테이션 모델의 의미적 priors를 LLIE에 효과적으로 통합하여 다양한 영역에서 색상 충실도와 질감을 개선할 수 있는가?
• RQ2 의미 지식을 활용해 저조도 향상을 안내하는 최적의 모듈과 손실은 무엇인가?
• RQ3 의미 사전지식은 서로 다른 LLIE 모델 및 데이터셋에서 일반화되는가?
• RQ4 SKF가 표준 LLIE 지표에 실데를 얼마나 미치는가? 실제 데이터셋과 비정렬 데이터셋에서의 영향은?

주요 결과

• SKF는 LOL 및 LOL-v2 데이터셋에서 기본 LLIE 모델을 지속적으로 개선하며 PSNR/SSIM 증가 및 perceptual 지표(LPIPS, NIQE)에서도 개선을 보인다.
• SE 모듈은 의미와 이미지 특징 간의 효과적인 교차 모달 상호작용을 가능하게 하여 색상 fidelity와 디테일 보존을 향상시킨다.
• SCH 손실은 의미 맵에 의해 가이드된 영역별 차원에서 differentiable한 색상 히스토그램을 계산해 영역별 색상 일관성을 강제한다.
• SA 손실은 전역 및 로컬 적대적 가이던스를 결합하여 의미 사전 지식에 맞춘 더 자연스러운 질감을 만들어낸다.
• LLFlow-L-SKF는 SKF-향상 모델들 중 LOL/LOL-v2에서 PSNR 최상위를 달성하여 모델 간 및 장면 간 강한 일반화를 보여준다.
• 적응 실험은 SCH 손실, SE 모듈, SA 손실의 기여를 확인하여 전체 성능 향상에 기여함을 입증한다.