[논문 리뷰] Improved Techniques for Learning to Dehaze and Beyond: A Collective Study

Yu Liu, Guanlong Zhao외 9명|arXiv (Cornell University)|2018. 06. 30.

Image Enhancement Techniques참고 문헌 25인용 수 42

한 줄 요약

본 논문은 단일 이미지 디하이징을 위한 지각 기반 손실 함수를 연구하고, 흐림 이미지의 물체 인식을 개선하기 위한 도메인 적응 및 캐스케이드 기반 접근법을 탐구하여 RESIDE 벤치마크에서 중요한 향상을 얻는다.

ABSTRACT

Here we explore two related but important tasks based on the recently released REalistic Single Image DEhazing (RESIDE) benchmark dataset: (i) single image dehazing as a low-level image restoration problem; and (ii) high-level visual understanding (e.g., object detection) of hazy images. For the first task, we investigated a variety of loss functions and show that perception-driven loss significantly improves dehazing performance. In the second task, we provide multiple solutions including using advanced modules in the dehazing-detection cascade and domain-adaptive object detectors. In both tasks, our proposed solutions significantly improve performance. GitHub repository URL is: https://github.com/guanlongzhao/dehaze

연구 동기 및 목표

• 훈련 손실을 인간의 지각과 맞춰 단일 이미지 디하이징 성능을 향상시키는 것.
• 디하이즈-탐지 캐스케이드 및 도메인 적응을 통해 흐림 조건에서 고수준 시각 작업(객체 탐지)을 향상시키는 것.
• RESIDE 데이터셋과 RTTS에서 손실 함수와 탐지 파이프라인을 평가하여 실용적 이득을 얻는 것

제안 방법

• 표준 MSE를 AOD-Net에서 대체하는 대안적 지각 기반 손실 함수(L1, SSIM, MS-SSIM, MS-SSIM with L2/L1)의 평가.
• 최고 성능의 손실(MS-SSIM with L2)을 워밍 초기화 및 하이퍼파라미터 조정으로 미세조정.
• 사전 학습된 탐지기(Faster R-CNN, SSD, RetinaNet, Mask R-CNN)와 다양한 디하이즈 방법(DCP, DehazeNet, AOD-Net, MSCNN, DCPDN)을 사용한 다중 디하이즈-탐지 캐스케이드를 테스트.
• 정상 이미지와 흐림 이미지 간의 도메드 차이를 줄이기 위해 gradient-reversal layer를 갖춘 도메인 적응 Mask R-CNN(DMask-RCNN)을 제안.
• 두 가지 대상 도메인(주석이 없는 흐림 RESIDE 이미지와 디하이즈 버전)에서 실험하고 RTTS에서 mAP를 측정한다.

실험 결과

연구 질문

• RQ1 지각 기반 손실(SSIM, MS-SSIM)이 RESIDE에서 디하이징 복원에 대해 MSE보다 우수한가?
• RQ2 캐스케이드 설정에서 디하이즈 방법과 탐지기가 흐림 이미지 탐지와 어떻게 상호 작용하는가?
• RQ3 도메인 적응이 흐림 조건의 객체 탐지를 개선하는가, 도메이 차를 가장 효과적으로 줄이는 대상 도메인은 무엇인가?
• RQ4 디하이징과 도메인 적응 탐지기를 결합했을 때 탐지 성능에 어떤 효과가 있는가?

주요 결과

모델	PSNR Indoor (dB)	PSNR Outdoor (dB)	PSNR All (dB)	SSIM Indoor	SSIM Outdoor	SSIM All
AOD-Net Baseline	21.01	24.08	22.55	0.8372	0.8726	0.8549
MS-SSIM-ell2 (best MS-SSIM+ℓ2)	20.45	26.38	23.41	0.8285	0.9177	0.8731
MS-SSIM-ℓ2 (finetuned)	20.68	26.18	23.43	0.8229	0.9266	0.8747

• MS-SSIM with L2 손실은 실내/실외 안개 모두에서 전체 PSNR/SSIM에서 최상의 성능을 달성하고 AOD-Net 베이스라인 대비 상당한 이점을 제공합니다.
• Fine-tuning 후의 Best Task 1 결과: PSNR 23.43 dB 및 SSIM 0.8747이 결합된 세트에서 나옵니다.
• Task 2에서 도메인 적응 탐지기(DMask-RCNN)가 비적응형 캐스케이드보다 우수하며, MSCNN+DMask-RCNN2가 테스트 파이프라인 중 가장 높은 mAP(0.634)를 달성했습니다.
• 흐림-도메인 탐지에서 더 진보된 탐지기를 사용한다고 해서 도메인 간 격차로 인해 항상 더 나은 성능을 보이는 것은 아닙니다(흐림/디하이즈 및 깨끗한 이미지 간의 도메인 간 차이).
• MSCNN를 사용한 디하이즈와 탐지용 DMask-RCNN을 결합한 디하이즈-탐지 캐스케이드가 솔루션 세트 중 가장 강력한 성능을 보입니다.
• 도메인 적응은 소스(깨끗한)와 타깃(흐림/디하이즈) 도메인 간의 격차를 효과적으로 축소하여 탐지 성능을 높입니다.