[논문 리뷰] Domain Adaptation for Image Dehazing

Yuanjie Shao, Lerenhan Li외 3명|arXiv (Cornell University)|2020. 05. 10.

Image Enhancement Techniques참고 문헌 36인용 수 6

한 줄 요약

이 논문은 양방향 이미지 번역 네트워크와 일致성 손실을 사용하여 합성 및 실재 흐린 이미지 간의 도메인 차이를 줄이는 엔드 투 엔드 도메인 적응 프레임워크를 제안한다. 청소된 이미지 사전 지식(예: 어두운 채널 사전 지식 및 기울기 스무딩)을 활용해 실재 흐린 이미지를 훈련에 통합함으로써, 합성 및 실재 데이터셋 모두에서 최신 기술을 초월하는 성능을 달성하며, PSNR 기준 최대 3.94 dB 향상 및 SSIM 기준 0.07 향상 달성.

ABSTRACT

Image dehazing using learning-based methods has achieved state-of-the-art performance in recent years. However, most existing methods train a dehazing model on synthetic hazy images, which are less able to generalize well to real hazy images due to domain shift. To address this issue, we propose a domain adaptation paradigm, which consists of an image translation module and two image dehazing modules. Specifically, we first apply a bidirectional translation network to bridge the gap between the synthetic and real domains by translating images from one domain to another. And then, we use images before and after translation to train the proposed two image dehazing networks with a consistency constraint. In this phase, we incorporate the real hazy image into the dehazing training via exploiting the properties of the clear image (e.g., dark channel prior and image gradient smoothing) to further improve the domain adaptivity. By training image translation and dehazing network in an end-to-end manner, we can obtain better effects of both image translation and dehazing. Experimental results on both synthetic and real-world images demonstrate that our model performs favorably against the state-of-the-art dehazing algorithms.

연구 동기 및 목표

• 딥 러닝 기반 탈안개에서 합성 및 실재 흐린 이미지 간의 도메인 차이 문제를 해결한다.
• 합성 데이터로 훈련된 탈안개 모델이 실세계 흐린 이미지에 적용되었을 때의 일반화 능력을 향상시킨다.
• 청소된 이미지 사전 지식(예: 어두운 채널 사전 지식 및 이미지 기울기 스무딩)을 활용해 실재 흐린 이미지를 훈련에 통합함으로써 실재 이미지에서의 탈안개 성능을 향상시킨다.
• 이미지 번역과 탈안개를 동시에 최적화하는 엔드 투 엔드 훈련 가능한 프레임워크를 개발한다.
• 합성 및 실재 흐린 이미지 벤치마크에서 뛰어난 시각적 및 정량적 성능을 달성한다.

제안 방법

• 장면 깊이 정보를 기반으로 현실감을 향상시키기 위해, 합성 및 실재 흐린 도메인 간 이미지 번역을 수행하는 양방향 이미지 번역 네트워크를 사용한다.
• 원본 및 번역된 이미지를 입력으로 사용하여, 합성 이미지용과 실재 이미지용 각각 별도의 탈안개 네트워크를 훈련시킨다.
• 두 탈안개 네트워크의 출력 간 일치성 손실을 강제 적용하여 도메인 간 예측이 일치하도록 보장한다.
• 청소된 이미지의 특성(예: 어두운 채널 사전 지식 및 이미지 기울기 스무딩)을 활용해 실재 흐린 이미지를 탈안개 훈련에 통합함으로써 도메인 적응 능력을 향상시킨다.
• 이미지 번역 및 탈안개 네트워크를 엔드 투 엔드로 훈련하여 상호 최적화 및 성능 향상을 유도한다.
• 무 supervision 훈련을 기반으로 한 다단계 훈련 전략을 사용하여 번역 및 탈안개가 함께 최적화되도록 한다.

실험 결과

연구 질문

• RQ1 양방향 이미지 번역이 합성 및 실재 흐린 이미지 간 도메인 갭을 효과적으로 줄일 수 있는가?
• RQ2 청소된 이미지 사전 지식을 통해 실재 흐린 이미지를 훈련에 통합하면 실세계 데이터에 대한 탈안개 일반화 능력이 향상되는가?
• RQ3 도메인 특화 탈안개 네트워크 간 일치성 손실이 성능 및 강건성 향상에 기여하는가?
• RQ4 제안된 엔드 투 엔드 도메인 적응 프레임워크는 합성 및 실재 흐린 이미지에서 최신 기술 탈안개 방법과 비교해 어떻게 성능을 내는가?
• RQ5 이미지 번역 모듈과 무 supervision 손실이 전체 탈안개 성능에 기여하는 정도는 어떠한가?

주요 결과

• STOS 합성 데이터셋에서 제안된 방법은 PSNR 27.76, SSIM 0.9284를 달성하여 최신 기술인 EPDN을 PSNR 기준 3.94 dB 향상, SSIM 기준 0.04 향상하여 능가한다.
• HazeRD 실세계 데이터셋에서 제안된 방법은 PSNR 29.81, SSIM 0.9421을 달성하여 EPDN을 PSNR 기준 0.7 dB 향상, SSIM 기준 0.07 향상하여 능가한다.
• 절단 실험 결과, 이미지 번역 네트워크와 무 supervision 손실 모두 성능 향상에 상당한 기여를 함을 확인하였으며, 전체 모델이 모든 절단 변형보다 PSNR 및 SSIM 측면에서 뛰어난 성능을 보였다.
• URHI 데이터셋의 실재 흐린 이미지에 대한 시각적 결과에서, 제안된 방법은 NLD, GFN, DehazeNet, AOD-Net, DCPDN 및 EPDN 대비 더 밝고 청소된 이미지를 생성하며, 색상 왜곡과 안개 잔여물이 적은 것으로 확인되었다.
• S2R 변형(합성에서 실재로의 번역)만으로도 합성 데이터로만 훈련한 것보다 탈안개 품질이 향상되어 도메인 번역이 도메인 갭을 줄이는 데 효과적임을 입증하였다.
• 번역 모듈과 무 supervision 손실을 모두 포함한 전체 모델이 가장 뛰어난 시각적 품질을 달성하였으며, 더 밝은 하늘과 더 세밀한 질감을 구현하여 구성 요소 간 상호 보완성이 확인되었다.