[논문 리뷰] Prototypical Contrast Adaptation for Domain Adaptive Semantic Segmentation

Zhengkai Jiang, Yuxi Li외 5명|arXiv (Cornell University)|2022. 07. 14.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 클래스별 프로토타입을 통해 상호 클래스 관계를 모델링함으로써 특징의 분리도를 향상시키는 새로운 대비 학습 방법인 프로토타입 대비 적응(ProCA)을 제안한다. 같은 클래스의 특징을 동일 클래스 프로토타입에 정렬하고 다른 클래스로부터의 특징를 밀어내는 방식으로, DeepLab-v2와 ResNet-101을 사용하여 GTA5→Cityscapes에서 56.3%의 최고 성능 mIoU와 SYNTHIA→Cityscapes에서 53.0%의 최고 성능 mIoU를 달성한다.

ABSTRACT

Unsupervised Domain Adaptation (UDA) aims to adapt the model trained on the labeled source domain to an unlabeled target domain. In this paper, we present Prototypical Contrast Adaptation (ProCA), a simple and efficient contrastive learning method for unsupervised domain adaptive semantic segmentation. Previous domain adaptation methods merely consider the alignment of the intra-class representational distributions across various domains, while the inter-class structural relationship is insufficiently explored, resulting in the aligned representations on the target domain might not be as easily discriminated as done on the source domain anymore. Instead, ProCA incorporates inter-class information into class-wise prototypes, and adopts the class-centered distribution alignment for adaptation. By considering the same class prototypes as positives and other class prototypes as negatives to achieve class-centered distribution alignment, ProCA achieves state-of-the-art performance on classical domain adaptation tasks, {\em i.e., GTA5 $ o$ Cityscapes ext{and} SYNTHIA $ o$ Cityscapes}. Code is available at \href{https://github.com/jiangzhengkai/ProCA}{ProCA}

연구 동기 및 목표

• 기존 비지도 도메인 적응(UDA) 방법이 내부 클래스 분포 정렬에만 집중하여 타겟 도메인에서 상호 클래스 간 분리도가 낮다는 한계를 해결한다.
• 클래스별 프로토타입을 사용하여 상호 클래스 간 구조적 관계를 명시적으로 모델링함으로써 타겟 도메인 내 특징의 분리도를 향상시킨다.
• 온라인 프로토타입 업데이트를 통해 특징 수준과 출력 수준의 대비 적응을 동시에 최적화함으로써 도메인 불변성과 표현 품질을 향상시킨다.
• 클래스 인식 기반 허위 레이블링과 다중 수준 적응을 통합하여 표준 UDA 벤치마크에서 뛰어난 성능을 달성한다.

제안 방법

• 소스 도메인의 특징에서 클래스별 중심 표현으로서의 클래스별 프로토타입을 구성하여 상호 클래스 관계를 모델링한다.
• 동일 클래스의 특징를 양성 쌍으로, 다른 클래스의 특징를 음성 쌍으로 간주하여 프로토타입 기반 대비 학습을 적용한다.
• 특징 수준(세그멘테이션 헤드에서 추출한 특징 사용)과 출력 수준(분류기에서 추출한 로짓 사용)의 이중 브랜치 대비 적응을 도입한다.
• 학습 중 소스 및 타겟 도메인의 특징를 모두 활용하여 프로토타입을 지속적으로 개선하는 온라인 프로토타입 업데이트 방식을 구현한다.
• 고신뢰도 허위 레이블을 필터링하기 위해 클래스 인식 기반 적응형 임계값을 사용하는 자기 학습 프레임워크를 통합한다.
• 도메인 내(소스→소스) 및 도메인 간(타겟→소스) 대비 학습을 결합하여 특징 정렬의 안정성과 향상을 높인다.

실험 결과

연구 질문

• RQ1 클래스별 프로토타입을 통한 상호 클래스 관계의 명시적 모델링이 비지도 세그멘테이션에서의 도메인 일반화를 향상시키는가?
• RQ2 클래스별 프로토타입 기반 대비 학습이 픽셀 수준의 대비 학습 방법보다 도메인 적응 세그멘테이션에서 성능이 뛰어나게 되는가?
• RQ3 특징 수준과 출력 수준의 병렬 대비 적응이 단일 수준 적응보다 성능에 어떤 영향을 미치는가?
• RQ4 온라인 프로토타입 업데이트가 도메인 불변성과 모델의 강건성에 얼마나 기여하는가?
• RQ5 자기 학습 단계에서 고신뢰도 허위 레이블을 생성하기 위한 최적의 임계값 퍼센티지는 얼마인가?

주요 결과

• ProCA는 DeepLab-v2와 ResNet-101을 사용하여 GTA5→Cityscapes 벤치마크에서 56.3%의 최고 성능 mIoU를 달성하여 이전 최고 성능 방법들을 크게 앞서간다.
• 절단 분석 결과, 도메인 내 및 도메인 간 대비 학습을 결합한 경우 mIoU가 가장 높은 48.8%를 기록하여 이중 브랜치 적응의 효과를 입증한다.
• 자기 학습 단계에서 허위 레이블 생성을 위한 임계값으로 60%를 사용할 경우 최고의 성능(55.1% mIoU)을 기록하였으며, 이보다 높은 임계값은 성능 저하를 초래한다.
• 다중 수준 적응(특징 + 출력)은 단일 수준 변형들(각각 47.9% 및 48.4%)을 능가하는 48.8% mIoU를 달성하여 계층적 정렬의 유용성을 입증한다.
• 온라인 혼합 업데이트 방식을 사용한 프로토타입은 고정 프로토타입(47.8%) 및 소스 전용 업데이트(48.3%) 방식을 뛰어넘는 48.8% mIoU를 기록하여 도메인 불변성 향상에 기여함을 입증한다.
• ProCA는 오직 프로토타입 기반 대비 적응만으로도 FADA(46.9%), SDCA(47.2%), 메모리 백업 기반 기준(47.6%)을 능가하는 48.8% mIoU를 달성하여 상호 클래스 모델링에서의 우수성을 확인한다.