[논문 리뷰] From Synthetic to Real: Image Dehazing Collaborating with Unlabeled Real Data

Ye Liu, Lei Zhu외 6명|arXiv (Cornell University)|2021. 08. 06.

Image Enhancement Techniques참고 문헌 43인용 수 5

한 줄 요약

이 논문은 단일 이미지 탈안개 처리에서 합성 레이블이 부여된 데이터와 레이블이 없는 실세계 안개 이미지를 함께 활용하여 성능을 향상시키는 분리형-일致성 메인티처 네트워크(DMT-Net)를 제안한다. 분리된 이미지 탈안개 네트워크(DID-Net)를 도입하여 전달도 지도, 안개 없는 이미지, 대기 빛 강도 추정치를 별도로 예측하고, 레이블이 없는 실세계 데이터에 대해 일치성 정규화를 적용하여 도메인 간 차이를 줄인다. 이로 인해 Haze4K, SOTS, HazeRD 데이터셋에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Single image dehazing is a challenging task, for which the domain shift between synthetic training data and real-world testing images usually leads to degradation of existing methods. To address this issue, we propose a novel image dehazing framework collaborating with unlabeled real data. First, we develop a disentangled image dehazing network (DID-Net), which disentangles the feature representations into three component maps, i.e. the latent haze-free image, the transmission map, and the global atmospheric light estimate, respecting the physical model of a haze process. Our DID-Net predicts the three component maps by progressively integrating features across scales, and refines each map by passing an independent refinement network. Then a disentangled-consistency mean-teacher network (DMT-Net) is employed to collaborate unlabeled real data for boosting single image dehazing. Specifically, we encourage the coarse predictions and refinements of each disentangled component to be consistent between the student and teacher networks by using a consistency loss on unlabeled real data. We make comparison with 13 state-of-the-art dehazing methods on a new collected dataset (Haze4K) and two widely-used dehazing datasets (i.e., SOTS and HazeRD), as well as on real-world hazy images. Experimental results demonstrate that our method has obvious quantitative and qualitative improvements over the existing methods.

연구 동기 및 목표

• 단일 이미지 탈안개 처리에서 합성 학습 데이터와 실세계 안개 이미지 간의 도메인 간 차이를 해결하기 위해.
• CNN 특징을 물리적으로 의미 있는 구성요소로 분리하여 안개 없는 이미지, 전달도 지도, 대기 빛 강도를 개별적으로 예측함으로써 탈안개 성능을 향상시키기 위해.
• 실세계 안개 이미지에 레이블이 없더라도 메인티처 프레임워크를 통해 이를 활용하여 일반화 능력을 향상시키기 위해.
• 물리적 일致성을 유지하는 코arse-to-fine, 분리된 특징 학습 아키텍처를 개발하기 위해.

제안 방법

• 각 스케일에서 특징을 전달도 정제, 잠재적 정제, 빛 정제의 세 가지 브런치로 분리하는 분리된 이미지 탈안개 네트워크(DID-Net)를 제안한다.
• 진행적 다중 스케일 특징 통합을 통해 전달도 지도, 안개 없는 이미지, 대기 빛 강도 추정치를 예측한다.
• 각 구성요소별로 독립적인 정밀화 네트워크를 도입하여 코arse 예측을 개선한다.
• DID-Net을 메인티처 프레임워크에 통합하여, 레이블이 없는 실세계 데이터에 대해 일치성 손실을 적용하여 학생 및 교사 네트워크의 예측을 일치시킨다.
• 레이블이 부여된 합성 데이터에 대해 분리된 지도 학습 손실을, 레이블이 없는 실세계 데이터에 대해 분리된 일치성 손실을 적용하여 강건성을 향상시킨다.
• 초파rameter α1–α6를 사용한 가중 조합 손실을 통해 지도 학습과 일치성 간 균형을 맞춘다.

실험 결과

연구 질문

• RQ1 분리된 특징 학습이 합성 데이터와 실세계 도메인 간 일반화 성능 향상에 기여하는가?
• RQ2 레이블이 없는 실세계 안개 이미지에 대해 일치성 정규화가 탈안개 처리에서 도메인 간 차이를 줄이는 데 얼마나 효과적인가?
• RQ3 전달도 지도, 대기 빛 강도, 안개 없는 이미지와 같은 물리적으로 해석 가능한 구성요소를 동시에 예측하는 것이 종단간 예측보다 더 나은 탈안개 성능을 내는가?
• RQ4 각 구성요소(분리, 정밀화, 레이블이 없는 데이터)가 최종 성능에 기여하는 정도는 어떠한가?

주요 결과

• DMT-Net은 Haze4K 데이터셋에서 PSNR 28.53, SSIM 0.96을 기록하여 13개의 최신 기술(SOTA) 방법을 모두 초월한다.
• 절단 실험 결과, 특징 분리 도입으로 기준 모델 대비 PSNR가 0.16–0.30 dB 향상되었으며, 정밀화 과정이 추가로 성능 향상에 기여함을 확인했다.
• 일치성 손실을 통해 레이블이 없는 실세계 데이터를 활용한 결과, 레이블이 있는 데이터만으로 정밀화를 수행한 기준 모델 대비 PSNR가 0.46 dB 향상되었다.
• 시각적 비교 결과, DMT-Net은 건물 및 하늘 영역에서 기준 모델 대비 질감과 색상 정합성을 더 잘 유지함을 확인했다.
• 교사 네트워크의 성능(PSNR 28.34, SSIM 0.96)이 학생 네트워크와 거의 동일하여 메인티처 학습의 안정성을 검증했다.
• 초파rameter 절단 실험 결과, α1=0.7, α2=0.1, α3=0.7로 설정할 경우 최적의 성능를 달성하였으며, 다른 설정에서도 성능 저하가 최소한이었다.