[논문 리뷰] Night Time Haze and Glow Removal using Deep Dilated Convolutional Network

Shiba Kuanar, K.R. Rao외 2명|arXiv (Cornell University)|2019. 02. 03.

Image Enhancement Techniques참고 문헌 36인용 수 31

한 줄 요약

이 논문은 확장된 컨볼루션과 반복 아키텍처를 사용하여 야경 안개와 빛 번짐 효과를 동시에 제거하는 딥러닝 기반 DeGlow-DeHaze 네트워크를 제안한다. NYU Depth Dataset에서 유도한 합성 안개 이미지로 훈련함으로써, 최신 기술 대비 뛰어난 이미지 품질과 더 빠른 추론 속도를 달성하며, 비균일한 조명과 색온도가 다른 빛의 원천을 효과적으로 다룬다.

ABSTRACT

In this paper, we address the single image haze removal problem in a nighttime scene. The night haze removal is a severely ill-posed problem especially due to the presence of various visible light sources with varying colors and non-uniform illumination. These light sources are of different shapes and introduce noticeable glow in night scenes. To address these effects we introduce a deep learning based DeGlow-DeHaze iterative architecture which accounts for varying color illumination and glows. First, our convolution neural network (CNN) based DeGlow model is able to remove the glow effect significantly and on top of it a separate DeHaze network is included to remove the haze effect. For our recurrent network training, the hazy images and the corresponding transmission maps are synthesized from the NYU depth datasets and consequently restored a high-quality haze-free image. The experimental results demonstrate that our hybrid CNN model outperforms other state-of-the-art methods in terms of computation speed and image quality. We also show the effectiveness of our model on a number of real images and compare our results with the existing night haze heuristic models.

연구 동기 및 목표

• 단일 이미지에서 야간 안개와 빛 번짐 제거 문제의 과소정의된 문제를 해결하기 위해.
• 야간 환경에서 다수의 빛 원천으로 인한 비균일한 조명과 다양한 색온도를 처리하기 위해.
• 더 나은 복원 품질을 위해 빛 번짐과 안개 효과를 별도로 제거할 수 있는 딥러닝 프레임워크를 개발하기 위해.
• 기존 히ュ리스틱 기반 방법 대비 더 빠른 계산 속도와 높은 이미지 정밀도를 달성하기 위해.
• 합성 및 실세계 야간 이미지에서의 성능을 검증하기 위해.

제안 방법

• 두 단계로 구성된 딥러닝 아키텍처: 첫 번째로 확장된 컨볼루션을 사용하여 장거리 맥락을 포착하는 DeGlow 네트워크가 빛 번짐 효과를 제거한다.
• 그 후, NYU Depth Dataset에서 유도된 전달도 맵을 기반으로 대기 안개를 제거하는 DeHaze 네트워크가 작동한다.
• 합성된 안개 이미지와 해당하는 지상 진실 전달도 맵을 사용하여 반복적인 훈련 전략을 적용한다.
• 확장된 컨볼루션을 사용하여 파rameter 수를 늘리지 않고的感受 field를 확장하면서도 공간 해상도를 유지한다.
• 합성된 안개 이미지는 NYU Depth Dataset 기반으로 빛 원천과 대기 산산이 흩어지는 현상을 시뮬레이션하여 생성된다.
• 엔드 투 엔드 최적화를 통해 안개가 있는 입력에서 고품질의 안개 없는 이미지를 재구성하도록 네트워크를 훈련한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 야간 환경에서 빛 번짐과 안개 효과를 동시에 효과적으로 분리하고 제거할 수 있는가?
• RQ2 확장된 컨볼루션의 사용이 저조도 조건에서 대규모 빛 번짐과 안개 패턴을 모델링하는 데 어떻게 기여하는가?
• RQ3 DeGlow-DeHaze 아키텍처가 기존 히ュ리스틱 기반 방법 대비 이미지 품질과 추론 속도에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 복잡한 조명 조건과 비균일한 조명을 가진 실세계 야간 이미지에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ5 NYU Depth Dataset에서 유도한 합성 훈련 데이터가 실세계 야간 안개 상황에 효과적으로 일반화되는가?

주요 결과

• 제안된 DeGlow-DeHaze 네트워크는 합성 및 실세계 테스트 세트에서 최신 기술 대비 더 높은 PSNR 및 SSIM 값을 기록한다.
• 기존 딥러닝 및 히ュ리스틱 기반 접근 방식 대비 더 빠른 추론 속도를 보여준다.
• DeGlow 네트워크는 빛 원천 주변의 홀로 및 번짐 아티팩트를 크게 감소시켜 시각적 품질을 향상시킨다.
• DeHaze 네트워크는 비균일한 조명 조건에서도 안개가 있는 영역의 가시성을 효과적으로 복원한다.
• 시각적 비교 결과, 기준 방법 대비 세부 구조와 질감을 더 잘 유지한다.
• 정량적 및 정성적 평가를 통해 실야간 환경에서도 모델의 일반화 능력이 뛰어나다는 것이 검증되었다.