[논문 리뷰] UCL-Dehaze: Towards Real-world Image Dehazing via Unsupervised Contrastive Learning

Yongzhen Wang, Xuefeng Yan외 5명|arXiv (Cornell University)|2022. 05. 04.

Image Enhancement Techniques인용 수 20

한 줄 요약

UCL-Dehaze는 무쌍 hazy 및 clean 이미지를 사용하는 적대적 학습이 포함된 비지도 대조 학습 프레임워크를 통해 페어 데이터 없이도 실제 세계의 흐림 제거에서 최첨단 성능을 달성합니다.

ABSTRACT

While the wisdom of training an image dehazing model on synthetic hazy data can alleviate the difficulty of collecting real-world hazy/clean image pairs, it brings the well-known domain shift problem. From a different yet new perspective, this paper explores contrastive learning with an adversarial training effort to leverage unpaired real-world hazy and clean images, thus bridging the gap between synthetic and real-world haze is avoided. We propose an effective unsupervised contrastive learning paradigm for image dehazing, dubbed UCL-Dehaze. Unpaired real-world clean and hazy images are easily captured, and will serve as the important positive and negative samples respectively when training our UCL-Dehaze network. To train the network more effectively, we formulate a new self-contrastive perceptual loss function, which encourages the restored images to approach the positive samples and keep away from the negative samples in the embedding space. Besides the overall network architecture of UCL-Dehaze, adversarial training is utilized to align the distributions between the positive samples and the dehazed images. Compared with recent image dehazing works, UCL-Dehaze does not require paired data during training and utilizes unpaired positive/negative data to better enhance the dehazing performance. We conduct comprehensive experiments to evaluate our UCL-Dehaze and demonstrate its superiority over the state-of-the-arts, even only 1,800 unpaired real-world images are used to train our network. Source code has been available at https://github.com/yz-wang/UCL-Dehaze.

연구 동기 및 목표

• 합성-실세계 도메인 간 격차를 해소하기 위해 실제 세계 데이터의 페어가 없는 상태에서 흐림 제거를 동기부여한다.
• 학습에서 비쌍(real-world hazy and clean) 이미지를 음수/양수 샘플로 활용한다.
• 임베딩 공간에서 복원을 안내하기 위한 픽셀 단위 자기 대조 지각 손실을 제안한다.
• 스펙트럴 정규화와 자기 보정 합성곱을 갖춘 UNet과 유사한 제너레이터를 개발하여 흐림 제거를 향상시킨다.
• 전체 참조 및 지각 품질 지표를 사용하여 최첨단 흐림 제거 방법과 비교 평가한다.

제안 방법

• 비쌍 데이터로 학습된 비지도 설정에서 영상-영상 변환으로 흐림 제거를 형식화한다.
• 9개의 잔류 블록과 SC Conv를 갖춘 UNet 기반 제너레이터를 사용하여 다중 스케일 특징 추출한다.
• 안정적인 적대적 학습을 위해 LSGAN 손실을 갖는 PatchGAN 판별기를 도입한다.
• 여러 인코더 계층에 걸친 패치 단위 대조 손실(L_PC)을 도입하여 대응 패치를 함께 모으고 음수를 서로 떨어뜨리도록 한다.
• VGG-16 특징을 사용하여 픽셀 단위의 자기 대조 지각 손실(L_SCP)을 도입하여 복원된 이미지를 깨끗한 샘플과 일치시키고 흐림 샘플은 거리를 두도록 한다.
• 구조를 보존하기 위해 항등 손실과 함께 손실들을 결합하여 L_Total = lambda1 L_adv + lambda2 L_PC + lambda3 L_SCP + lambda4 L_ide가 되도록 한다.

실험 결과

연구 질문

• RQ1 비쌍 real-world 흐림 및 깨끗한 이미지로 이루어진 비지도 대조 학습이 합성 흐림과 실제 흐림 사이의 간극을 메울 수 있는가?
• RQ2 대조 학습에서 음수(흐림) 샘플을 포함하는 것이 양수(깨끗한) 샘플만 사용하는 것과 비교해 흐림 제거 성능을 향상시키는가?
• RQ3 패치 단위 대조 학습과 적대적 학습과 결합될 때 픽셀 단위 자기 대조 지각 손실이 복원 품질을 향상시키는가?
• RQ4 제안된 프레임워크가 실제 및 합성 데이터 세트에서 최첨단 흐림 제거 방법과 어떻게 비교되는가?
• RQ5 제시된 방법이 제한된 비쌍 실세계 데이터(예: 1,800장)로도 견고한가?

주요 결과

• UCL-Dehaze는 18개 방법 중 SOTS outdoor 및 HSTS에서 최고 PSNR/SSIM를 달성했다.
• 또한 기본 방법 대비 색상 충실도 및 대비 측정치(CIEDE2000, Contrast gain 등)에서 최고(또는 거의 최고)를 달성한다.
• 정성적 결과는 실제 세계의 흐림 이미지에서 더 선명하고 자연스러운 흐림 제거 이미지와 보존된 세부 정보를 보여준다.
• 이 방법은 페어 데이터 없이 1,800장의 비쌍 실제 세계 이미지를 사용하여 비지도 방식으로 학습한다.
• 특성 제거 및 비교 결과는 자기 대조 지각 손실과 적대적 학습의 통합 효과를 나타낸다.