[논문 리뷰] Transmission Map and Atmospheric Light Guided Iterative Updater Network for Single Image Dehazing

Aupendu Kar, Sobhan Kanti Dhara외 2명|arXiv (Cornell University)|2020. 08. 04.

Image Enhancement Techniques참고 문헌 68인용 수 10

한 줄 요약

이 논문은 단일 이미지 탈안개 처리를 위한 반복적 사전 정보 업데이트 기반 탈안개 네트워크(IPUDN)를 제안한다. 이 네트워크는 반복 업데이트 프레임워크를 통해 탈안개 이미지, 투과도 지도, 채널별 대기 빛을 동시에 추정한다. LSTM 기반 반복 구조와 투과도 및 대기 빛을 위한 전용 업데이터 네트워크를 활용함으로써, 다양한 안개 조건에서 탈안개 성능을 향상시켜 최신 기술들보다 우수한 성능을 보였다. 이는 합성 및 실제 세계 데이터셋 모두에서 입증되었다.

ABSTRACT

Hazy images obscure content visibility and hinder several subsequent computer vision tasks. For dehazing in a wide variety of hazy conditions, an end-to-end deep network jointly estimating the dehazed image along with suitable transmission map and atmospheric light for guidance could prove effective. To this end, we propose an Iterative Prior Updated Dehazing Network (IPUDN) based on a novel iterative update framework. We present a novel convolutional architecture to estimate channel-wise atmospheric light, which along with an estimated transmission map are used as priors for the dehazing network. Use of channel-wise atmospheric light allows our network to handle color casts in hazy images. In our IPUDN, the transmission map and atmospheric light estimates are updated iteratively using corresponding novel updater networks. The iterative mechanism is leveraged to gradually modify the estimates toward those appropriately representing the hazy condition. These updates occur jointly with the iterative estimation of the dehazed image using a convolutional neural network with LSTM driven recurrence, which introduces inter-iteration dependencies. Our approach is qualitatively and quantitatively found effective for synthetic and real-world hazy images depicting varied hazy conditions, and it outperforms the state-of-the-art. Thorough analyses of IPUDN through additional experiments and detailed ablation studies are also presented.

연구 동기 및 목표

• 안개로 인한 시야 저하가 후속 컴퓨터 비전 작업을 방해하는 문제를 해결하기 위해.
• 탈안개 이미지, 투과도 지도, 대기 빛을 동시에 추정함으로써 다양한 안개 조건에서 탈안개 성능을 향상시키기 위해.
• 채널별 대기 빛 추정을 도입함으로써 탈안개 출력의 색조 왜곡을 줄이기 위해.
• 투과도 지도 및 대기 빛 추정을 위한 반복 정밀 조정 메커니즘을 통해 정확도를 향상시키기 위해.
• 사전 지식(투과도 및 빛)을 탈안개 과정에 통합하는 통합된 딥 러닝 프레임워크를 구축하기 위해.

제안 방법

• 투과도 지도 및 대기 빛을 다중 단계에서 반복적으로 개선하는 반복 업데이트 프레임워크를 사용한다.
• 안개가 낀 이미지의 색조 왜곡을 더 잘 다루기 위해 채널별 대기 빛을 추정하는 새로운 컨볼루션 아키텍처를 제안한다.
• 투과도 지도 및 대기 빛 추정을 반복적으로 정밀 조정하기 위한 전용 업데이터 네트워크를 도입한다.
• 반복 간 의존성을 모델링하기 위해 LSTM 기반 반복 구조를 갖춘 컨볼루션 신경망을 사용하여 탈안개 이미지를 추정한다.
• 탈안개 이미지, 투과도 지도, 대기 빛을 종합적으로 최적화하여 엔드 투 엔드 방식으로 학습한다.
• 반복 메커니즘을 통해 사전 추정치가 실제 안개 조건을 더 잘 반영하도록 점차 향상된다.

실험 결과

연구 질문

• RQ1 투과도 지도 및 대기 빛의 반복 정밀 조정이 다양한 안개 조건에서 탈안개 성능을 향상시키는가?
• RQ2 채널별 대기 빛 추정은 탈안개 이미지의 색상 정합성과 색조 왜곡 감소에 어떤 영향을 미치는가?
• RQ3 LSTM 기반 반복 의존성 통합이 탈안개 품질 향상에 어느 정도 기여하는가?
• RQ4 제안된 업데이터 네트워크는 정적 사전 추정 대비 정확성과 견고성 측면에서 어떻게 비교되는가?
• RQ5 탈안개 이미지, 투과도 지도, 대기 빛을 동시에 최적화하는 것이 분리된 접근 방식보다 더 나은 성능을 내는가?

주요 결과

• IPUDN은 합성 및 실제 세계 안개 이미지 벤치마크에서 최신 기술들을 모두 능가하는 성능을 보였다.
• 채널별 대기 빛 추정을 사용함으로써 탈안개 출력의 색조 왜곡이 효과적으로 감소하였다.
• 반복 업데이트 메커니즋试로 투과도 지도 및 대기 빛 추정치가 점차 더 정확해졌다.
• LSTM 기반 반복 구조는 반복 간 의존성을 모델링함으로써 탈안개 품질을 향상시켰다.
• 제거 실험을 통해 업데이터 네트워크 및 종합 최적화 전략의 효과성이 확인되었다.
• 밀도 높은 안개 및 가벼운 안개를 포함한 다양한 안개 조건에서도 뛰어난 일반화 성능을 보였다.