[논문 리뷰] Category Contrast for Unsupervised Domain Adaptation in Visual Tasks

Jiaxing Huang, Dayan Guan외 3명|arXiv (Cornell University)|2021. 06. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 94인용 수 10

한 줄 요약

이 논문은 대조 학습을 위한 의미 인지형, 카테고리 균형형, 도메인 혼합형 사전을 구성함으로써 특징 학습을 향상시키는 새로운 비지도 도메 적응 방법인 Category Contrast (CaCo)를 제안한다. 가짜 레이블이 부여된 타겟 샘플과 소스 카테고리 사전 정보를 활용함으로써 CaCo는 도메인에 관계없이 카테고리 구분 능력이 뛰어난 표현을 학습하며, 세분화, 이미지 분류, 객체 검출 작업 전반에서 최신 기술 수준의 성능을 달성하여 기존 방법보다 일관된 성능 향상을 보인다.

ABSTRACT

Instance contrast for unsupervised representation learning has achieved great success in recent years. In this work, we explore the idea of instance contrastive learning in unsupervised domain adaptation (UDA) and propose a novel Category Contrast technique (CaCo) that introduces semantic priors on top of instance discrimination for visual UDA tasks. By considering instance contrastive learning as a dictionary look-up operation, we construct a semantics-aware dictionary with samples from both source and target domains where each target sample is assigned a (pseudo) category label based on the category priors of source samples. This allows category contrastive learning (between target queries and the category-level dictionary) for category-discriminative yet domain-invariant feature representations: samples of the same category (from either source or target domain) are pulled closer while those of different categories are pushed apart simultaneously. Extensive UDA experiments in multiple visual tasks (e.g., segmentation, classification and detection) show that CaCo achieves superior performance as compared with state-of-the-art methods. The experiments also demonstrate that CaCo is complementary to existing UDA methods and generalizable to other learning setups such as unsupervised model adaptation, open-/partial-set adaptation etc.

연구 동기 및 목표

• 더 나은 특징 표현 학습을 통해 시각 작업에서 발생하는 도메인 이탈 문제를 해결하기 위해 비지도 도메 적응(Ubiquitous Domain Adaptation, UDA)을 향상시키는 것.
• 기존 비지도 표현 학습 방법이 인스턴스 식별에만 초점을 맞추며 의미 카테고리나 도메인 불변성 고려를 하지 않는 한계를 극복하는 것.
• 카테고리 사전 정보와 도메인 혼합 데이터를 통합한 대조 학습 프레임워크를 개발하여 강건하고 일반화 능력이 뛰어난 표현을 학습하는 것.
• 본 방법의 효과성과 다양한 UDA 작업 및 학습 설정 간의 상호보완성을 입증하는 것.

제안 방법

• 진짜 레이블이 부여된 소스 도메인 샘플과 가짜 레이블이 부여된 타겟 도메인 샘플을 조합하여 의미 인지형, 카테고리 균형형, 도메인 혼합형 키 세트를 구성함으로써 의미 인지형 사전을 구축한다.
• 소스 도메인 특징에서 유도된 카테고리 사전 정보를 바탕으로 타겟 샘플에 가짜 카테고리 레이블을 할당하여 카테고리 인지형 대조 학습을 가능하게 한다.
• 동일한 카테고리의 특징은 서로 가까이 모으고, 다른 카테고리의 특징는 서로 멀리 떼는 카테고리 대조 손실(CatNCE)을 적용한다.
• 각 타겟 쿼리가 사전에 있는 모든 키와 대조되도록 메모리 뱅크 조회 메커니즘을 활용하여 모든 카테고리에 대해 균형 잡힌 학습을 보장한다.
• 안정적인 훈련을 위해 장기적인 동적 사전을 유지하기 위한 메모리 백업 업데이트 전략을 구현한다.
• 기존의 UDA 프레임워크에 카테고리 대조 손실을 통합하여 즉시 사용 가능한 성능 향상 기능을 제공한다.

실험 결과

연구 질문

• RQ1 소스 데이터로부터 유도된 의미 사전 정보를 활용함으로써 카테고리 인지형 대조 학습이 비지도 도메 적응의 성능 향상에 기여할 수 있는가?
• RQ2 도메인 혼합형, 카테고리 균형형 사전이 도메인 불변성과 카테고리 특징 구분 능력을 향상시키는 데 어떻게 기여하는가?
• RQ3 제안된 Category Contrast (CaCo) 방법이 세분화, 검출, 분류와 같은 다양한 시각 작업에 일반화되는가?
• RQ4 CaCo는 기존 최신 기술 수준의 UDA 방법과 얼마나 상호보완적인가?
• RQ5 CaCo는 개방 집합 또는 부분 집합 도메인 적응과 같은 다른 학습 설정으로 확장 가능한가?

주요 결과

• CaCo는 세분화, 객체 검출, 분류 작업을 위한 여러 시각적 UDA 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 특히 GTA5 → Cityscapes 세분화, COCO-Instance Segmentation, ImageNet 스타일 분류에서 뛰어난 성능을 보였다.
• 기존 최신 기술 수준의 UDA 방법에 통합되었을 때, CaCo는 평가된 모든 작업에서 일관되게 성능 향상을 보이며 강력한 상호보완성을 입증하였다.
• 사전 작업 기반 비지도 표현 학습 기반 모델(예: 인스턴스 대조 학습, 회전 예측 등)이 UDA 환경에서 CaCo에 비해 유의미하게 열등한 성능을 보였다.
• 실험 결과, 하이퍼파라미터 M(카테고리당 사전 크기)가 성능에 미치는 영향이 미미하여, 하이퍼파라미터 선택에 대해 뛰어난 내구성을 보임을 확인하였다.
• CaCo는 비지도 모델 적응, 개방 집합 UDA, 부분 집합 UDA와 같은 도전적인 설정에도 효과적으로 일반화되어 넓은 적용 가능성을 보였다.
• 제거 실험 결과, 카테고리 인지형, 도메인 혼합형, 카테고리 균형형 사전 설계의 조합이 성능 향상에 필수적임을 확인하였으며, 별도의 사전 또는 고정된 온도 스케일링을 사용한 변형보다 뛰어난 성능을 보였다.