[논문 리뷰] Semantic Single-Image Dehazing

Ziang Cheng, Shaodi You외 2명|arXiv (Cornell University)|2018. 04. 16.

Image Enhancement Techniques참고 문헌 23인용 수 15

한 줄 요약

이 논문은 고수준의 의미적 특징을 활용하여 자연스러운 색상 사전 지식과 환경 조명을 추론함으로써, 포화된 하늘과 색상 흐린 대기 등 도전적인 상황에서의 탈안개 처리 성능을 크게 향상시키는 의미적 단일 이미지 탈안개 방법을 제안한다. 깊이 신경망에 의미적 맥락을 통합함으로써, 합성 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였고, 색상 과포화에 대한 저항성과 시각적 품질 면에서 이전 방법들을 능가한다.

ABSTRACT

Single-image haze-removal is challenging due to limited information contained in one single image. Previous solutions largely rely on handcrafted priors to compensate for this deficiency. Recent convolutional neural network (CNN) models have been used to learn haze-related priors but they ultimately work as advanced image filters. In this paper we propose a novel semantic ap- proach towards single image haze removal. Unlike existing methods, we infer color priors based on extracted semantic features. We argue that semantic context can be exploited to give informative cues for (a) learning color prior on clean image and (b) estimating ambient illumination. This design allowed our model to recover clean images from challenging cases with strong ambiguity, e.g. saturated illumination color and sky regions in image. In experiments, we validate our ap- proach upon synthetic and real hazy images, where our method showed superior performance over state-of-the-art approaches, suggesting semantic information facilitates the haze removal task.

연구 동기 및 목표

• 단일 이미지 탈안개 문제의 불완전한 성질을 해결하기 위해 고수준의 의미적 사전 지식을 통합하여 청소화된 이미지 추정의 모호성을 줄이기 위해.
• 일반적으로 과포화와 잘못된 색상 균형을 유도하는 수작업으로 구성된 저수준 사전 지식의 한계를 극복하기 위해.
• 강한 안개, 색상 흐린 대기 조명, 포화된 하늘 영역과 같은 어려운 케이스에서의 성능 향상을 위해.
• 의미적 이해가 저수준 이미지 특징만으로는 달성할 수 없는 탈안개 성능 향상에 기여한다는 것을 입증하기 위해.

제안 방법

• 이 방법은 입력된 안개가 낀 이미지에서 추출한 의미적 특징을 사용하여 청소화된 이미지와 환경 조명을 동시에 예측하는 완전한 엔드 투 엔드 컨volutional 신경망(CNN)을 활용한다.
• 의미적 사전 지식은 학습 데이터에서 학습되며, 객체 클래스(예: 하늘, 식생 등)가 자연스러운 색상과 조명에 강력한 단서를 제공한다.
• 색상 모듈은 의미적 임bedding을 통합하여 색상 사전 지식 추정을 정밀하게 개선함으로써 객체별 색상 복원에 대한 신뢰도를 향상시킨다.
• 글로벌 추정 모듈은 의미적 특징과 저수준 특징을 활용하여 환경 조명을 예측함으로써 회색조 대기 조명 가정에 대한 의존도를 감소시킨다.
• 네트워크는 청소화된 이미지와 환경 조명의 진짜 값이 제공되는 합성 안개가 낀 이미지 데이터셋에서 훈련되며, 인지적 손실과 재구성 손실을 사용한다.
• 제거 실험을 통해 의미적 모듈의 기여도를 분리하여 검증하였으며, 진짜 값의 조명을 입력으로 사용하는 기준 모델과 비교하였다.

실험 결과

연구 질문

• RQ1 고수준의 의미적 특징은 단일 이미지 탈안개에서 색상 사전 지식 추정의 정확도를 향상시킬 수 있는가?
• RQ2 강한 색상 이동이 존재하는 상황에서 의미적 맥락은 환경 조명 복원에 어떻게 기여하는가?
• RQ3 저수준 사전 지식 기반 방법에 비해 의미적 가이던스는 과포화와 색상 왜곡을 얼마나 줄일 수 있는가?
• RQ4 의미적 사전 지식은 밝은 표면이나 매우 농후한 안개가 낀 하늘과 같은 모호한 케이스에서 탈안개 성능 향상에 기여하는가?

주요 결과

• 시험셋A에서 제안된 방법은 PSNR 27.0827과 SSIM 0.9024를 기록하여 진짜 값의 조명을 입력으로 사용하는 기준 모델(PSNR: 23.2918, SSIM: 0.7762)보다 뚜렷이 뛰어난 성능을 보였다.
• 이전 방법들인 DCP와 달리, 심한 안개와 강한 색상 이동 조건에서도 하늘 영역의 자연스러운 색상을 성공적으로 복원하였다.
• 시각적 비교 결과, 특히 색상 흐린 대기로 인해 복잡한 장면이 된 경우, 최신 기술 수준의 방법들보다 더 적은 잡음과 더 나은 화이트 밸런스를 생성하였다.
• 제거 실험 결과, 의미적 특징이 핵심적임을 확인하였다. 진짜 값의 조명을 사용하더라도 의미적 가이던스가 없는 기준 모델은 상당히 열 劣한 성능을 보였다.
• 합성 데이터셋에서만 훈련되었음에도 불구하고, 유사한 의미적 클래스(예: 도로 영역)를 가진 실제 세계의 안개가 낀 장면에 대해 잘 일반화되어 있으며, 최신 기술 수준의 방법들과 비교해 유사한 성능을 달성하였다.