[논문 리뷰] An All-in-One Network for Dehazing and Beyond

Boyi Li, Xiulian Peng외 3명|arXiv (Cornell University)|2017. 07. 20.

Image Enhancement Techniques참고 문헌 36인용 수 136

한 줄 요약

AOD-Net은 흐림 입력에서 직접적으로 안개 없는 이미지를 회귀하며, 재구성된 대기 모델에 기초한 엔드-투-엔드 CNN이고, Faster R-CNN 같은 고수준 작업과 함께 학습되어 흐린 이미지의 객체 탐지를 향상시킬 수 있다.

ABSTRACT

This paper proposes an image dehazing model built with a convolutional neural network (CNN), called All-in-One Dehazing Network (AOD-Net). It is designed based on a re-formulated atmospheric scattering model. Instead of estimating the transmission matrix and the atmospheric light separately as most previous models did, AOD-Net directly generates the clean image through a light-weight CNN. Such a novel end-to-end design makes it easy to embed AOD-Net into other deep models, e.g., Faster R-CNN, for improving high-level task performance on hazy images. Experimental results on both synthesized and natural hazy image datasets demonstrate our superior performance than the state-of-the-art in terms of PSNR, SSIM and the subjective visual quality. Furthermore, when concatenating AOD-Net with Faster R-CNN and training the joint pipeline from end to end, we witness a large improvement of the object detection performance on hazy images.

연구 동기 및 목표

• 명시적 전송 및 대기광 추정 없이 견고한 단일 이미지 디헤이징의 필요성과 아이디어를 제시한다.
• 재구성된 대기 모델을 통해 흐림 없는 이미지를 출력하는 엔드투엔드 CNN을 제안한다.
• 입력에 adapt하여 흐림 매개변수를 함께 추정하고 깨끗한 이미지를 복구하는 경량 네트워크를 설계한다.
• 흐린 이미지에서 우수한 복원 품질(PSNR/SSIM)과 고수준 작업 성능의 개선을 보여준다.

제안 방법

• 대기 산란 모델을 재구성하여 t(x)와 A를 하나의 입력 의존 매개변수 K(x)로 결합한다.
• 다중 스케일 합성곱을 갖춘 K-추정 모듈과 K(x)를 사용하여 J(x)를 생성하는 깨끗한 이미지 생성 모듈로 구성된 두 모듈 네트워크를 개발한다.
• K-추정 모듈에 다섯 개의 합성곱 층으로 구성된 경량 아키텍처와 각 층당 최소 필터 수(세 개)를 사용한다.
• I(x)로부터 J(x)의 직접 재구성을 최적화하기 위해 평균 제곱 오차 손실로 엔드투엔드 학습한다.
• K(x) 내에서 t(x)와 A의 공동 추정이 단순한 2단계 접근법보다 더 나은 조도와 질감 충실도를 제공함을 보여준다.
• AOD-Net을 고수준 모델(예: Faster R-CNN)에 통합하고 함께 학습(jointly)하여 흐린 이미지에서 탐지를 개선하는 JAOD-Faster R-CNN의 가능성을 보여준다.

실험 결과

연구 질문

• RQ1 직접적으로 깨끗한 이미지를 회귀하는 엔드투엔드 디헤이징 모델이 전송 기반의 2단계 방법보다 성능이 우수한가?
• RQ2 단일 적응 매개변수를 갖는 재구성된 대기 모델이 복원 품질(PSNR/SSIM)과 시각적 충실도를 향상시킬 수 있는가?
• RQ3 고수준 작업(예: 물체 탐지)과의 디헤이징 공동 학습이 흐린 이미지에서의 성능을 향상시키는가?
• RQ4 경량의 입력 적응 네트워크가 합성 및 자연 흐림 씬 전반에 걸친 견고한 디헤이징에 충분한가?

주요 결과

• AOD-Net은 합성 흐림 데이터세트(TestSet A 및 TestSet B)에서 최첨단 방법과 비교하여 더 높은 SSIM과 경쟁력 있는 PSNR을 달성한다.
• AOD-Net은 더 신뢰할 수 있는 전역 조명과 질감 디테일을 제공하며, 이는 더 높은 SSIM과 더 낮은 평균 이미지 MSE 구성요소로 반영된다.
• JAOD-Faster R-CNN 파이프라인은 흐림 하에서 물체 탐지 mAP에서 순진한 방법이나 비-공동 접근법에 비해 상당한 이득을 가져온다.
• AOD-Net은 CPU/GPU 벤치마크에서 이미지당 0.65초로 여러 베이스라인보다 훨씬 빨라 효율적인 배포를 가능하게 한다.
• 엔드투엔드 설계는 후속 작업에 맞춰 복원을 조정할 수 있게 하며 밀집한 흐림 시나리오에서 2단계 파이프라인을 능가한다.
• 디헤이징은 자연 흐림 이미지의 성능을 향상시킬 수 있으며 흐림이 없는 입력에 적용해도 견고성을 유지한다.