[논문 리뷰] Unsupervised Contrastive Domain Adaptation for Semantic Segmentation

Feihu Zhang, Vladlen Koltun외 3명|arXiv (Cornell University)|2022. 04. 18.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 도메인 내 및 도메인 간 대조 쌍을 사용하여 도메인 간 특징을 정렬하면서도 분류 능력을 향상시키는 비지도 대비 도메인 적응 방법을 제안한다. 레이블이 없는 타겟 이미지를 사용해 GTA5에서 미세조정했을 때 Cityscapes에서 60.2%의 mIoU를 달성하여 최신 기법들을 능가하며, 특히 도메인 분포의 변화가 심한 어려운 클래스에서 뛰어난 성능을 보인다.

ABSTRACT

Semantic segmentation models struggle to generalize in the presence of domain shift. In this paper, we introduce contrastive learning for feature alignment in cross-domain adaptation. We assemble both in-domain contrastive pairs and cross-domain contrastive pairs to learn discriminative features that align across domains. Based on the resulting well-aligned feature representations we introduce a label expansion approach that is able to discover samples from hard classes during the adaptation process to further boost performance. The proposed approach consistently outperforms state-of-the-art methods for domain adaptation. It achieves 60.2% mIoU on the Cityscapes dataset when training on the synthetic GTA5 dataset together with unlabeled Cityscapes images.

연구 동기 및 목표

• 원천 도메인과 타겟 도메인 간 분포의 차이로 인해 발생하는 도메인 이동 문제를 해결하기 위해, 특히 희귀하거나 미리보지 않은 클래스에 대해.
• 저수준의 스타일 전이나 적대적 훈련에만 의존하지 않고 도메인 간 특징 정렬을 향상시키기 위해.
• 유의미한 양의 양성 쌍을 전략적으로 샘플링하여 어려운 클래스와 쉬운 클래스의 균형을 이루는 자기지도 대비 학습 프레임워크를 개발하기 위해.
• 특징 기반의 가짜 라벨 확장 전략을 통해 타겟 도메인에서 어려운 클래스의 픽셀을 탐지하고 식별하기 위해.

제안 방법

• 선생-학생 프레임워크를 사용하여 선생 네트워크가 레이블이 없는 타겟 도메인 이미지의 가짜 라벨을 생성한다.
• 원도메인 대비 쌍(원천 및 타겟 내부)과 교차 도메인 대비 쌍(원천에서 타겟으로)을 구성하여 도메인 간 특징을 정렬한다.
• 온도 조절된 교차 엔트로피를 사용하여 대비 손실을 최적화함으로써 특징의 군집화를 촉진하고 분류 능력을 향상시킨다.
• 선생 네트워크에서 고신뢰도 가짜 라벨을 선택하는 신뢰도 임계값 기반 메커니즘이 학생의 학습을 이끈다.
• 특징 공간의 유사도를 분석하여 타겟 도메인의 어려운 클래스 픽셀을 식별하고 통합하는 특징 기반 가짜 라벨 확장 전략을 적용한다.
• 도메인 정렬 손실, 대비 손실, 일관성 정규화 항목을 조합하여 학습을 안정화하는 목표 함수를 구성한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 타겟 데이터가 있는 비지도 세분화에서 대비 학습이 도메인 간 특징을 효과적으로 정렬할 수 있는가?
• RQ2 자기지도 방법을 사용할 때 도메인 분포의 변화가 심한 어려운 클래스를 더 잘 적응시킬 수 있는가?
• RQ3 도메인 내 및 교차 도메인 대비 쌍을 결합하면 기존의 도메인 적응 기준보다 더 나은 특징 정렬을 이룰 수 있는가?
• RQ4 특징 유사도 기반의 가짜 라벨 확장 전략이 희귀하거나 미리보지 않은 클래스에서 성능 향상에 얼마나 기여하는가?
• RQ5 온도 및 신뢰도 임계값과 같은 하이퍼파라미터 설정에 대해 이 방법이 얼마나 강인한가?

주요 결과

• GTA5에서 레이블이 없는 Cityscapes 이미지를 사용해 훈련했을 때, Cityscapes 검증 세트에서 60.2%의 mIoU를 달성하여 이전 최고 기준을 초월한다.
• SYNTHIA에서 Cityscapes로의 벤치마크에서 56.5%의 mIoU를 기록하여 합성에서 실세계로의 도메인 이동에 대해 강력한 일반화 능력을 보였다.
• 원천에서 레이블이 적거나 도메인 분포의 변화가 심한 어려운 클래스에서 성능 향상이 뚜렷하게 향상되었으며, 이는 효과적인 대비 샘플링과 가짜 라벨 확장 덕분이었다.
• 특징 프로토타입 정렬 분석 결과, 제안된 방법은 ProDA나 적응 없이도 도메인 간 클래스 프로토타입 간 L2 거리가 더 작음을 확인하여 더 나은 도메인 간 정렬을 달성했다.
• 제거 실험을 통해 λ, α, τ₀의 다양한 설정에서도 성능 저하가 미미하여 하이퍼파라미터 변화에 대해 강인함을 입증했다.
• ResNet-50 및 ResNet-101을 포함한 다양한 아키텍처에서 Coarse-to-Fine 및 ProDA와 같은 강력한 베이스라인을 뛰어넘었으며, 더 약한 백본을 사용할 때에도 성능이 뛰어났다.