[논문 리뷰] A Cascaded Convolutional Neural Network for Single Image Dehazing

Chongyi Li, Jichang Guo외 3명|arXiv (Cornell University)|2018. 03. 21.

Image Enhancement Techniques참고 문헌 7인용 수 7

한 줄 요약

이 논문은 단일 이미지 화소 제거를 위해 매질 투과도와 전역 대기 빛을 동시에 추정하는 계단식 합성곱 신경망(CNN)을 제안한다. 투과도 추정을 위해 밀집 연결된 서브넷을 활용하고, 대기 빛 추정을 위해 경량 서브넷을 사용하여, 합성 및 실세계 화소 이미지에서 최신 기술 수준의 성능을 달성하며 정확도와 속도가 향상되었다.

ABSTRACT

Images captured under outdoor scenes usually suffer from low contrast and limited visibility due to suspended atmospheric particles, which directly affects the quality of photos. Despite numerous image dehazing methods have been proposed, effective hazy image restoration remains a challenging problem. Existing learning-based methods usually predict the medium transmission by Convolutional Neural Networks (CNNs), but ignore the key global atmospheric light. Different from previous learning-based methods, we propose a flexible cascaded CNN for single hazy image restoration, which considers the medium transmission and global atmospheric light jointly by two task-driven subnetworks. Specifically, the medium transmission estimation subnetwork is inspired by the densely connected CNN while the global atmospheric light estimation subnetwork is a light-weight CNN. Besides, these two subnetworks are cascaded by sharing the common features. Finally, with the estimated model parameters, the haze-free image is obtained by the atmospheric scattering model inversion, which achieves more accurate and effective restoration performance. Qualitatively and quantitatively experimental results on the synthetic and real-world hazy images demonstrate that the proposed method effectively removes haze from such images, and outperforms several state-of-the-art dehazing methods.

연구 동기 및 목표

• 대기 입자가 화소를 유발하는 단일 이미지 화소 제거 문제를 해결한다.
• 기존의 학습 기반 방법들이 매질 투과도와 대기 빛을 별도로 추정함으로써 최적의 성능을 내지 못하는 한계를 극복한다.
• 데이터 기반, 종단 간(end-to-end) 방식으로 투과도와 대기 빛을 함께 모델링하여 화소 제거의 강건성과 유연성을 향상시킨다.
• 합성 및 실세계 화소 이미지 데이터셋을 포함한 다양한 화소 이미지 데이터셋에서 뛰어난 시각적 및 정량적 복원 품질을 달성한다.

제안 방법

• 매질 투과도 추정과 전역 대기 빛 추정을 위한 두 개의 작업 기반 서브넷을 갖춘 계단식 CNN 아키텍처를 제안한다.
• 다양한 척도의 특징을 캡처하고 기울기 흐름을 향상시키기 위해 투과도 추정에 밀집 연결된 CNN을 사용한다.
• 정확도를 유지하면서 계산 비용을 줄이기 위해 대기 빛 추정을 위한 경량 CNN을 구현한다.
• 두 서브넷 간 공통 특징을 공유하여 공동 최적화를 가능하게 하고 특징 표현을 향상시킨다.
• 추정된 매개변수를 사용해 대기 산산이 흩어지는 모델을 역으로 풀어 안개 제거된 이미지를 재구성한다.
• 시각적 품질 향상과 잡음 감소를 위해 후처리 단계로 가이드 이미지 필터링을 적용한다.

실험 결과

연구 질문

• RQ1 계단식 CNN 아키텍처에서 매질 투과도와 전역 대기 빛을 동시에 추정하는 것이 별도 추정에 비해 화소 제거 성능을 향상시키는가?
• RQ2 밀집형 및 경량 서브넷을 갖춘 제안된 계단식 CNN은 최신 기술 수준의 방법들과 비교해 정량적 지표와 시각적 품질 면에서 어떻게 성능을 내는가?
• RQ3 합성 화소 이미지에서 학습한 모델이 실세계 화소 이미지로 일반화되는 정도는 어느 정도인가?
• RQ4 서브넷 간 공유된 특징이 특징 학습과 화소 제거 정확도를 향상시키는가?
• RQ5 기존 방법들과 비교해 하늘 영역 및 농도 높은 안개 영역과 같은 도전적인 영역에서 제안된 방법의 성능은 어떠한가?

주요 결과

• 제안된 방법은 합성 데이터셋에서 가장 낮은 MSE(958.17)와 가장 높은 PSNR(18.33 dB)를 기록하여 비교된 모든 방법들을 능가한다.
• 합성 화소 이미지에서 PSNR 18.33 dB와 SSIM 0.8857을 달성하여 뛰어난 정량적 성능을 입증한다.
• 실세계 화소 이미지에서는 생생한 색상, 높은 대비도 및 최소한의 색상 편차를 보이며, 특히 하늘 영역에서 매우 매력적인 결과를 생성한다.
• 후처리 단계 없이도 MSE와 PSNR에서 두 번째로 높은 순위를 기록하여 핵심 네트워크 설계가 이미 매우 효과적임을 시사한다.
• 추정된 매질 투과도 지apap은 투과도와 대기 빛을 함께 추정함으로써 더 정확한 안개 농도 표현이 가능하다는 것을 보여준다.
• 경량 네트워크 설계와 GPU 가속 기능 덕분에 기존 접근 방식보다 더 빠르며, 효율적인 추론을 가능하게 한다.