[논문 리뷰] Low Light Image Enhancement via Global and Local Context Modeling

Aditya Arora, Muhammad Haris외 5명|arXiv (Cornell University)|2021. 01. 04.

Image Enhancement Techniques참고 문헌 53인용 수 5

한 줄 요약

이 논문은 전반적인 영역 간 상관관계를 모델링하고 국소적 세부 정보를 복구하기 위해 글로벌 및 로컬 컨텍스트 모델링을 통합하는 맥락 인식 딥 네트워크를 제안한다. 전체 영역의 공간적 상관관계를 모델링하는 글로벌 컨텍스트 모듈과 큰 수신장치를 가진 밀집 잔차 블록을 통합함으로써, 이미지 품질이 향상되며, MIT-Adobe FiveK에서 기존 최고 성능 방법 대비 PSNR가 1.41 dB 향상되어 24.45 dB(이전 최고 성능: 23.04 dB)를 달성한다.

ABSTRACT

Images captured under low-light conditions manifest poor visibility, lack contrast and color vividness. Compared to conventional approaches, deep convolutional neural networks (CNNs) perform well in enhancing images. However, being solely reliant on confined fixed primitives to model dependencies, existing data-driven deep models do not exploit the contexts at various spatial scales to address low-light image enhancement. These contexts can be crucial towards inferring several image enhancement tasks, e.g., local and global contrast, brightness and color corrections; which requires cues from both local and global spatial extent. To this end, we introduce a context-aware deep network for low-light image enhancement. First, it features a global context module that models spatial correlations to find complementary cues over full spatial domain. Second, it introduces a dense residual block that captures local context with a relatively large receptive field. We evaluate the proposed approach using three challenging datasets: MIT-Adobe FiveK, LoL, and SID. On all these datasets, our method performs favorably against the state-of-the-arts in terms of standard image fidelity metrics. In particular, compared to the best performing method on the MIT-Adobe FiveK dataset, our algorithm improves PSNR from 23.04 dB to 24.45 dB.

연구 동기 및 목표

• 고정된 국소 수신장치에 의존하고 다중 척도 공간 맥락을 모델링하지 못하는 기존 딥 러닝 방법의 한계를 해결한다.
• 더 나은 대비, 밝기 및 색상 복구를 위해 전반적인 영역 전체 맥락과 밀집된 국소 맥락을 융합하여 이미지 신뢰도를 향상시킨다.
• 전반적 및 국소 맥락 모델링을 효과적으로 통합하여 시각적 품질을 향상시키고 저조도 이미지의 아티팩트를 줄이는 통합 아키텍처를 개발한다.
• 정량적 지표와 사용자 연구를 통해 다양한 데이터셋, 특히 극한의 저조도 조건에서도 뛰어난 성능을 입증한다.
• 다양한 척도에서의 맥락 모델링이 더 자연스럽고, 시각적으로 충실하며, 세부 정보가 풍부한 증강된 이미지를 제공함을 확인한다.

제안 방법

• 전체 이미지의 공간적 상관관계를 모델링하여 전체 공간 범위에 따라 특징을 재조정하는 글로벌 컨텍스트 모듈을 도입한다.
• 세부적인 국소 맥락을 캡처하고 특징의 다양성을 향상시키기 위해 큰 수신장치를 가진 밀집 잔차 블록을 활용한다.
• 다중 해상도에서 특징를 처리하기 위해 계층적 인코더-디코더 아키텍처를 사용하여 다중 척도 맥락 통합을 가능하게 한다.
• 글로벌 컨텍스트 모듈에서 공간적 종속성을 동적으로 가중하기 위해 학습 가능한 어텐션 메커니즘을 적용한다.
• 스킵 연결과 특징 연결을 통해 전반적 및 국소 맥락 표현을 통합하여 특징 표현을 향상시킨다.
• 실재성과 신뢰도 향상을 위해 L1 손실, 인지적 손실, 적대적 손실을 조합한 다중 손실 목표함수를 사용하여 네트워크를 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 국소 수신장치만으로는 불가능한 수준을 넘어서, 전반적 및 국소 공간 맥락을 함께 모델링하면 저조도 이미지 증강 성능이 향상되는가?
• RQ2 전체 이미지의 공간 범위에 걸쳐 글로벌 맥락 모델링을 통합할 경우, 영역 전체의 대비 및 밝기 조정에 어떤 영향을 미치는가?
• RQ3 큰 수신장치를 가진 밀집된 국소 맥락 모델링은 과노출 영역에서 세부 정보와 색상 충실도 복구에 얼마나 기여하는가?
• RQ4 전반적 및 국소 맥락 모델링을 통합한 통합 아키텍처는 다양한 저조도 데이터셋에서 최신 기술(SOTA) 방법을 초월하는가?
• RQ5 전반적 일관성과 국소 세부 정보가 함께 향상되었을 때, 인간 관찰자가 증강된 이미지의 품질을 어떻게 평가하는가?

주요 결과

• 제안된 방법은 MIT-Adobe FiveK 데이터셋에서 PSNR 24.45 dB를 달성하여 이전 최고 성능 방법(23.04 dB)보다 1.41 dB 향상되었다.
• LoL 및 SID 데이터셋에서 정량적 지표와 시각적 품질 모두에서 기존 최신 기술(SOTA) 방법을 능가했으며, 특히 자연스러운 색상 유지 및 아티팩트 감소에서 뛰어난 성능을 보였다.
• 사용자 연구 결과, 관찰자들이 인지적 품질과 미적 매력 측면에서 모든 기준 방법보다 제안된 방법을 선호했으며, 선호도 및 기준값에 대한 충실도 평가에서 모두 1위를 기록했다.
• 시각적 비교 및 확대 분석을 통해, 특히 도전적인 저조도 영역에서 과노출 및 자연스럽지 않은 색상 이동과 같은 일반적인 아티팩트를 효과적으로 줄였다.
• 전반적 및 국소 맥락 모델링의 조합은 복잡한 조명 및 질감 변화를 포함한 다양한 장면에서 더 일관되고 신뢰할 수 있는 증강 성능을 제공한다.
• MIT-Adobe FiveK, LoL, SID 세 가지 벤치마크 데이터셋 전반에서 성능 향상이 일관되게 나타나, 제안된 방법의 강건성과 일반화 능력을 입증했다.