[논문 리뷰] Prototypical Cross-domain Self-supervised Learning for Few-shot Unsupervised Domain Adaptation

Xiangyu Yue, Zangwei Zheng외 5명|arXiv (Cornell University)|2021. 03. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 74인용 수 15

한 줄 요약

이 논문은 소수의 레이블이 있는 소스 도메인 환경에서 적은 샘플로도 효과적으로 작동하는 종단간 프로토타입 기반 자기지도 학습(PCS)이라는 새로운 엔드 투 엔드 프레임워크를 제안한다. 이 프레임워크는 도메인 내 프로토타입 대비 학습과 도메인 간 인스턴스-프로토타입 매칭을 통해 분류 가능하고 도메인에 불변인 특징을 동시에 학습한다. PCS는 소수의 레이블이 있는 소스 설정에서 Office, Office-Home, VisDA-2017, DomainNet에서 각각 평균 정확도를 10.5%, 3.5%, 9.0%, 13.2% 향상시켜 최신 기준 성능을 달성한다.

ABSTRACT

Unsupervised Domain Adaptation (UDA) transfers predictive models from a fully-labeled source domain to an unlabeled target domain. In some applications, however, it is expensive even to collect labels in the source domain, making most previous works impractical. To cope with this problem, recent work performed instance-wise cross-domain self-supervised learning, followed by an additional fine-tuning stage. However, the instance-wise self-supervised learning only learns and aligns low-level discriminative features. In this paper, we propose an end-to-end Prototypical Cross-domain Self-Supervised Learning (PCS) framework for Few-shot Unsupervised Domain Adaptation (FUDA). PCS not only performs cross-domain low-level feature alignment, but it also encodes and aligns semantic structures in the shared embedding space across domains. Our framework captures category-wise semantic structures of the data by in-domain prototypical contrastive learning; and performs feature alignment through cross-domain prototypical self-supervision. Compared with state-of-the-art methods, PCS improves the mean classification accuracy over different domain pairs on FUDA by 10.5%, 3.5%, 9.0%, and 13.2% on Office, Office-Home, VisDA-2017, and DomainNet, respectively. Our project page is at http://xyue.io/pcs-fuda/index.html

연구 동기 및 목표

• 의료 영상과 같은 실제 응용에서 레이블링 비용이 높아 소스 도메인에서 이용 가능한 레이블 샘플이 매우 적을 경우 비지도 도메인 적응의 과제를 해결한다.
• 기존의 인스턴스 수준의 도메인 간 자기지도 학습은 의미적 구조를 포착하지 못하고 비정상 샘플에 민감하므로 이를 극복한다.
• 두 단계의 훈련 파이프라인에 의존하지 않고도 동시에 분류 가능 특징 학습과 도메인 정렬을 수행하는 통합형 엔드 투 엔드 프레임워크를 개발한다.
• 인스턴스-인스턴스 매칭 대신 인스턴스-프로토타입 매칭으로 교체함으로써 도메인 정렬의 강건성과 수렴 안정성을 향상시킨다.
• 프로토타입 기반 자기지도 학습과 적응형 분류기 업데이트를 활용하여 자원이 제한된 레이블링 환경에서도 뛰어난 성능을 달성한다.

제안 방법

• 유사한 의미적 특성을 가진 샘플들을 프로토타입으로 묶어 도메인 내 프로토타입 대비 학습을 수행함으로써 의미적 구조를 인코딩하고 특징의 분류 가능성을 향상시킨다.
• 소스에서 타겟으로 지식을 전달하기 위해 도메인 간 인스턴스-프로토타입 매칭을 구현함으로써 비정상 샘플에 대한 강건성과 최적화 안정성을 향상시킨다.
• 코사인 분류기와 프로토타입 학습을 통합하고 소스 및 타겟 프로토타입을 모두 활용해 분류기를 적응적으로 업데이트함으로써 타겟 도메인에서의 일반화 성능을 향상시킨다.
• 다양한 예측을 유도하고 과적합을 줄이기 위해 엔트로피 최적화를 적용하며, 특히 레이블 수가 적은 환경에서 효과적이다.
• 모든 구성 요소를 단일 단계 훈련 프레임워크에 통합하여 별도의 사전 훈련 및 미세조정 단계가 필요 없도록 한다.
• 학습률 0.01, 배치 크기 64로 ResNet-18 백본을 사용하며, 초모델 하이퍼파rameter는 분석 실험을 통해 최적화한다.

실험 결과

연구 질문

• RQ1 기존의 인스턴스 수준 자기지도 학습이 의미적 구조를 포착하지 못하는 소수의 레이블이 있는 소스 설정에서, 프로토타입 기반 자기지도 학습이 특징의 분류 가능성을 향상시킬 수 있는가?
• RQ2 인스턴스-인스턴스 매칭을 인스턴스-프로토타입 매칭으로 대체할 경우 도메인 분포 변화 상황에서 더 강건하고 안정적인 도메인 정렬이 이루어지는가?
• RQ3 프로토타입 학습과 적응형 분류기 업데이트를 통합한 통합형 엔드 투 엔드 프레임워크가 두 단계 파이프라인보다 소수의 레이블이 있는 비지도 도메인 적응에서 뛰어난 성능을 낼 수 있는가?
• RQ4 소수의 레이블이 있는 소스 샘플 수가 감소함에 따라 제안된 방법의 성능가 어떻게 변화하는가?
• RQ5 레이블이 부족한 환경에서 엔트로피 최적화가 일반화 성능 향상과 과적합 방지에 얼마나 기여하는가?

주요 결과

• 소수의 레이블이 있는 소스 설정에서, PCS는 Office 벤치마크에서 최신 기준 방법 대비 평균 분류 정확도를 10.5%p 향상시켰다.
• Office-Home에서 PCS는 이전 최고 성능 방법 대비 정확도를 3.5% 향상시켜 다양한 도메인 분포 변화 상황에서도 일관된 성능 향상을 보였다.
• VisDA-2017에서 PCS는 정확도를 9.0% 향상시켜 대규모이고 세분화된 도메인 간 적응 과제에서의 효과성을 입증했다.
• DomainNet에서 PCS는 정확도를 13.2% 향상시켜 다수의 도메인과 복잡한 시각적 변형에 걸쳐 강력한 일반화 능력을 보였다.
• 52개의 도메인 간 적응 설정 중 47개에서 PCS가 이전 최고 성능 방법을 초월했으며, 이는 다양한 데이터셋과 도메인 쌍에 걸쳐 강건함을 확인한다.
• 클래스당 1개의 레이블(31개의 레이블 이미지)만 있는 조건에서, DSLR→Amazon 설정에서 PCS는 76.1%의 정확도를 달성했으며, 레이블 수가 94% 감소했음에도 성능 저하가 1.3%에 불과하여 놀라운 샘플 효율성을 보였다.