[논문 리뷰] Exploring Image Enhancement for Salient Object Detection in Low Light Images

Xin Xu, Shiqin Wang외 3명|arXiv (Cornell University)|2020. 07. 31.

Visual Attention and Saliency Detection참고 문헌 66인용 수 8

한 줄 요약

이 논문은 저조도 영상에서 눈에 띄는 객체 탐지(SOD) 성능을 향상시키기 위해 물리적 조명 모델 기반의 이미지 강화 방법 PIE를 딥 네ural 네트워크에 통합한다. 환경 조도를 공간적으로 변하는 변수로 모델링하고, 장거리 맥락을 포착하기 위해 비국소 블록 레이어를 사용함으로써, PIE는 이미지 품질을 향상시키고 SOD 성능을 향상시켜 네 개의 공개 및 한 개의 커스텀 벤치마크 데이터셋(NTI-V1)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Low light images captured in a non-uniform illumination environment usually are degraded with the scene depth and the corresponding environment lights. This degradation results in severe object information loss in the degraded image modality, which makes the salient object detection more challenging due to low contrast property and artificial light influence. However, existing salient object detection models are developed based on the assumption that the images are captured under a sufficient brightness environment, which is impractical in real-world scenarios. In this work, we propose an image enhancement approach to facilitate the salient object detection in low light images. The proposed model directly embeds the physical lighting model into the deep neural network to describe the degradation of low light images, in which the environment light is treated as a point-wise variate and changes with local content. Moreover, a Non-Local-Block Layer is utilized to capture the difference of local content of an object against its local neighborhood favoring regions. To quantitative evaluation, we construct a low light Images dataset with pixel-level human-labeled ground-truth annotations and report promising results on four public datasets and our benchmark dataset.

연구 동기 및 목표

• 저조도 영상에서 저조도로 인한 대trast 감소와 비균일한 조명으로 인해 악화되는 눈에 띄는 객체 탐지(SOD) 문제를 해결하기 위해.
• 물리적 조명 퇜력을 명시적으로 모델링하는 이미지 강화 방법을 개발하여 SOD 성능을 향상시키기 위해.
• 실제 저조도 환경에서 SOD 평가를 위해 픽셀 수준의 애너테이션을 포함한 새로운 저조도 영상 데이터셋을 구축하기 위해.
• 환경 조도를 지점별로 변하는 변수로 명시적으로 모델링할 경우 저조도 환경에서 SOD의 강인성이 크게 향상됨을 입증하기 위해.

제안 방법

• 딥 네럴 네트워크에 물리적 조명 모델을 통합하여 환경 조도를 일정한 값이 아닌 공간적으로 변하는(지점별로 변하는) 변수로 간주한다.
• 눈에 띄는 객체와 그 지역 주변의 장거리 상관관계와 차이를 포착하기 위해 비국소 블록(NLB) 레이어를 도입한다.
• 물리적 조명 모델을 사용하여 손상된 영상을 복원하기 위해 새로운 이미지 강화 네트워크인 PIE(Physical Image Enhancement)를 설계한다.
• 공간적 위치에 따라 변하는 학습 가능한 대기 조도 성분 A(z)를 사용하여 현실감과 세부 사항 보존을 향상시킨다.
• PIE에서 생성한 강화된 영상으로 SOD 모델(NLD)을 훈련시켜 더 나은 특징 학습과 눈에 띄는 객체 예측을 가능하게 한다.
• 다중 스케일 손실과 데이터 증강을 활용하여 저조도 영상에서의 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 비균일한 환경 조도를 공간적으로 변하는 변수로 명시적으로 모델링하면 저조도 영상 강화 성능이 눈에 띄는 객체 탐지(SOD)에 향상되는가?
• RQ2 딥 네트워크에 물리적 조명 모델을 통합할 경우 저조도 조건에서 SOD 성능에 어떤 영향을 미치는가?
• RQ3 제안된 비국소 블록 레이어가 손상된 영상에서 비국소 맥락을 포착함으로써 SOD 성능을 어느 정도 향상시키는가?
• RQ4 제안된 이미지 강화 방법은 베이스라인 외의 다양한 SOD 모델에 일반화되는가?
• RQ5 제안된 방법은 기존의 저조도 강화 및 SOD 방법들과 비교해 벤치마크 데이터셋에서 어떤 성능을 보이는가?

주요 결과

• 제안된 PIE 방법은 NTI-V1 데이터셋에서 최고 성능을 기록하였으며, 평균 절대 오차(MAE)는 0.026, 최대 Fβ는 0.745를 기록하여 모든 베이스라인을 압도했다.
• 공간적으로 변하는 대기 조도 A(z)를 사용할 경우 일정한 A(z) 설정에 비해 MAE는 1.4% 향상되고, 최대 Fβ는 0.4% 향상되었다.
• 비국소 블록 레이어를 포함시킬 경우 해당 레이어가 없는 모델에 비해 MAE는 2.1% 향상되고, 최대 Fβ는 4.1% 향상되었다.
• PIE로 강화된 영상에서는 원본 저조도 영상보다 눈에 띄는 객체 탐지 결과가 뚜렷이 향상되었으며, 'PIE+LPS' 방법은 'LPS' 단독보다 우수했고, 진짜 값에 더 가까웠다.
• 정성적 결과에서는 PIE가 밝기와 대비를 효과적으로 향상시키며, 눈에 띄는 객체의 세부 사항을 유지하면서 배경 잡음을 줄이는 데 성공했다.
• 절단 분석 결과, 공간적으로 변하는 A(z)와 비국소 블록(NLB) 레이어 모두 저조도 조건에서 최신 기술 수준의 SOD 성능을 달성하는 데 핵심적인 구성 요소임을 확인했다.