[논문 리뷰] Model Adaptation: Historical Contrastive Learning for Unsupervised Domain Adaptation without Source Data

Jiaxing Huang, Dayan Guan외 2명|arXiv (Cornell University)|2021. 10. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 106인용 수 93

한 줄 요약

이 논문은 소스 데이터에 접근하지 않고도 소스에서 학습된 모델을 대상 분포에 적응시키는 UMA를 위한 Historical Contrastive Learning (HCL)을 제안한다. 역사적 모델을 사용하여 인스턴스- 및 카테고리 수준의 대비 학습 및 일관성 가중치를 가진 의사 라벨링을 수행한다.

ABSTRACT

Unsupervised domain adaptation aims to align a labeled source domain and an unlabeled target domain, but it requires to access the source data which often raises concerns in data privacy, data portability and data transmission efficiency. We study unsupervised model adaptation (UMA), or called Unsupervised Domain Adaptation without Source Data, an alternative setting that aims to adapt source-trained models towards target distributions without accessing source data. To this end, we design an innovative historical contrastive learning (HCL) technique that exploits historical source hypothesis to make up for the absence of source data in UMA. HCL addresses the UMA challenge from two perspectives. First, it introduces historical contrastive instance discrimination (HCID) that learns from target samples by contrasting their embeddings which are generated by the currently adapted model and the historical models. With the historical models, HCID encourages UMA to learn instance-discriminative target representations while preserving the source hypothesis. Second, it introduces historical contrastive category discrimination (HCCD) that pseudo-labels target samples to learn category-discriminative target representations. Specifically, HCCD re-weights pseudo labels according to their prediction consistency across the current and historical models. Extensive experiments show that HCL outperforms and state-of-the-art methods consistently across a variety of visual tasks and setups.

연구 동기 및 목표

• 소스 데이터에 접근할 수 없을 때 전통적인 비지도 도메인 적응의 대안으로 비지도 모델 적응(UMA)을 고무한다.
• 대상 도메인 적응 중 소스 가설을 보존하는 기억 기반(memory-based) 접근법을 도입한다.
• 소스 데이터 없이 대상 표현을 학습하기 위한 두 가지 보완적 대비 메커니즘을 개발한다: 인스턴스-구분 HCID와 카테고리-구분 HCCD.
• 이론적 통찰과 광범위한 교차 작업 경험적 검증(분할, 탐지, 분류)을 제공하여 HCL이 최신 UMA 방법보다 효과적임을 보여준다.

제안 방법

• Historical Contrastive Instance Discrimination (HCID): 현재 모델의 임베딩을 질의로 사용하고 역사적 모델의 임베딩을 키로 사용하여 기억 기반 대비 손실을 수행하고 양성을 당기고 음성을 밀어내며, 키의 신뢰도는 역사적 학습 품질에 의해 재가중된다.
• Historical Contrastive Category Discrimination (HCCD): 현재 및 역사적 예측을 사용하여 대상 샘플에 의사 라벨을 부여한 다음, 역사적 일관성으로 자기지도 손실을 재가중하여 카테고리-구별 표현을 학습한다.
• Historical consistency hinge: 의사 라벨은 현재 및 역사적 모델 간의 일관성에 조건화되어 잘 학습된 샘플의 선택적 자기학습을 가능하게 한다.
• 이론적 프레이밍은 HCID를 최대 우도/EM 관점과 연결하고 특정 조건에서 수렴을 증명한다; 마찬가지로 HCCD는 수렴 조건이 있는 분류-ML 문제로 프레이밍된다.

실험 결과

연구 질문

• RQ1 UMA를 소스 데이터에 접근하지 않고도 역사적 소스 가설을 활용하여 효과적으로 달성할 수 있는가?
• RQ2 HCID와 HCCD가 UMA 하에서 대상 표현 학습을 향상시키는 보완적 신호를 제공하는가?
• RQ3 HCL은 여러 시각적 작업(분할, 탐지, 분류) 및 설정(부분/개방 세트)에서 최첨단 UMA 및 일부 UDA 베이스라인과 비교하여 어떤 성능을 보이는가?
• RQ4 역사적 일관성이 UMA에서 신뢰할 수 있는 의사 라벨링과 기억 기반 학습을 가능하게 하는 역할은 무엇인가?

주요 결과

• HCL은 의미적 분할, 객체 탐지 및 이미지 분류 작업에서 최첨단 UMA 방법을 능가한다.
• HCL(+HCL)을 도입하면 기존 UMA 방법의 성능이 일관되게 향상되며, 때로는 소스 데이터를 사용하는 UDA 방식과 견줄 만한 성능에 도달한다.
• HCID와 HCCD는 직교적인 보조 신호를 제공하며, 결합될 때 분할 작업에서 최상의 성능을 낸다.
• HCL은 부분 집합 및 열림(Open-set) 적응을 포함한 다양한 작업 및 학습 설정에서 강한 일반화 성능을 보인다.
• 피처 시각화는 HCL이 인스턴스-구별 표현과 카테고리-구별 표현을 모두 학습하여 소스 가설을 보존하면서 대상 데이터에 적응함을 시사한다.