[논문 리뷰] CLUDA : Contrastive Learning in Unsupervised Domain Adaptation for Semantic Segmentation

Midhun Vayyat, Jaswin Kasi외 3명|arXiv (Cornell University)|2022. 08. 27.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

CLUDA는 학생-교수 프레임워크에서 유도된 다중 수준 융합 특징에 대해 대비 학습 손실을 적용하여 원천(가상) 및 대상(실세계) 도메인 간 특징의 응집성과 분리성 향상을 위한 대비 학습 기반 비지도 도메인 적응 방법을 제안한다. 이는 최소한의 아키텍처 변경과 낮은 메모리 오버헤드로 최신 기술 수준 성능을 달성하며, GTA→Cityscapes에서 74.4 mIoU(+0.6) 및 Synthia→Cityscapes에서 66.8 mIoU(+1.0)의 성능을 기록한다.

ABSTRACT

In this work, we propose CLUDA, a simple, yet novel method for performing unsupervised domain adaptation (UDA) for semantic segmentation by incorporating contrastive losses into a student-teacher learning paradigm, that makes use of pseudo-labels generated from the target domain by the teacher network. More specifically, we extract a multi-level fused-feature map from the encoder, and apply contrastive loss across different classes and different domains, via source-target mixing of images. We consistently improve performance on various feature encoder architectures and for different domain adaptation datasets in semantic segmentation. Furthermore, we introduce a learned-weighted contrastive loss to improve upon on a state-of-the-art multi-resolution training approach in UDA. We produce state-of-the-art results on GTA $ ightarrow$ Cityscapes (74.4 mIOU, +0.6) and Synthia $ ightarrow$ Cityscapes (67.2 mIOU, +1.4) datasets. CLUDA effectively demonstrates contrastive learning in UDA as a generic method, which can be easily integrated into any existing UDA for semantic segmentation tasks. Please refer to the supplementary material for the details on implementation.

연구 동기 및 목표

• 가상에서 실세계 데이터로의 전이 시 도메인 이동 문제를 해결하기 위해.
• 비지도 설정에서 대비 학습을 활용하여 도메인 간 특징의 응집성과 분리성을 향상시키기 위해.
• 기존의 UDA 프레임워크(예: DAFormer 및 HRDA)와 호환되는 일반적이고 플러그인 방식의 방법을 개발하기 위해.
• 비전 트랜스포머에서의 형태 편향을 줄이기 위해 'stuff' 및 'thing' 클래스에 대해 별도로 대비 학습 손실을 적용하기 위해.
• 다양한 해상도의 특징에서 유도된 대비 손실의 가중치를 학습하여 다중 해상도 훈련을 최적화하기 위해.

제안 방법

• 교수 모델이 대상 도메인 이미지의 가짜 레이블을 생성하는 학생-교수 훈련 프레임워크를 도입한다.
• 원천-대상 혼합 이미지를 사용하여 인코더에서 유도된 다중 수준 융합 특징에 대해 대비 손실을 적용하여 도메인 간 특징를 정렬한다.
• 'stuff' 및 'thing' 클래스에 대해 별도로 대비 손실을 계산하여 트랜스포머 기반 모델에서의 형태 편향을 줄인다.
• 신뢰도 가중 대비 손실을 사용하여, 손실 기여도를 교수 모델의 예측 신뢰도에 따라 조정함으로써 초기 훈련 단계의 안정성을 향상시킨다.
• 저해상도 및 고해상도 특징 맵에서의 대비 손실을 학습된 가중치로 조합하여 다중 해상도 적응을 향상시킨다.
• 교차 엔트로피 손실과 함께 대비 손실을 통합된 훈련 목표에 통합하여 특징 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 대상 데이터의 애너테이션 없이도 대비 학습이 비지도 의미 분할에서 도메인 일반화를 향상시킬 수 있는가?
• RQ2 'stuff' 및 'thing' 클래스에 대해 별도로 대비 학습을 적용할 경우 비전 트랜스포머 기반 백본에서의 성능에 어떤 영향을 미치는가?
• RQ3 다른 특징 해상도에서 유도된 대비 손실의 학습된 가중치가 다중 해상도 도메인 적응을 향상시키는가?
• RQ4 대비 학습이 DAFormer 및 HRDA와 같은 기존의 최신 기술 수준 UDA 프레임워크에 효과적으로 통합될 수 있는가?
• RQ5 대비 손실에 대한 신뢰도 기반 가중치 적용이 초기 훈련 단계에서 훈련 안정성과 최종 mIoU를 향상시키는가?

주요 결과

• GTA→Cityscapes에서 CLUDA는 74.4 mIoU를 기록하여 이전 최신 기술 수준 대비 +0.6 향상되었으며, 표준편차는 0.32이다.
• Synthia→Cityscapes에서 CLUDA는 66.8 mIoU를 기록하여 이전 최신 기술 수준 대비 +1.0 향상되었으며, 표준편차는 0.44이다.
• 이 방법은 Swin-L를 포함한 여러 백본 아키텍처에 대해 일관되게 성능 향상을 보이며, DAFormer 및 HRDA에 적용되었을 때도 동일한 효과를 나타낸다.
• 'stuff' 및 'thing' 클래스에 대해 별도로 대비 학습을 적용함으로써, 특히 표지판 및 신호와 같이 모호한 클래스에서의 오분류를 감소시켰다.
• 저해상도 및 고해상도 대비 손실의 학습된 가중치 조합이 고정 또는 단순 평균화 전략보다 더 뛰어난 성능을 제공한다.
• 신뢰도 기반 가중 대비 손실은 훈련 안정성과 최종 성능을 크게 향상시키며, 이를 생략할 경우 mIoU가 뚜렷이 감소하는 경향을 보였다.