[논문 리뷰] Source-free Domain Adaptation via Avatar Prototype Generation and Adaptation

Zhen Qiu, Yifan Zhang외 5명|arXiv (Cornell University)|2021. 06. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 15

한 줄 요약

이 논문은 원천 데이터에 접근할 수 없는 상황에서의 비지도 도메인 적응을 위한 새로운 방법인 대비형 프로토타입 생성 및 적응(Contrastive Prototype Generation and Adaptation, CPGA)을 제안한다. 이 방법은 사전 훈련된 원천 모델에서 대비 학습을 이용해 클래스별 아바타 프로토타입을 생성하고, 이를 바탕으로 가짜 레이블이 부여된 타겟 특징을 정렬함으로써 성능을 향상시킨다. 이 접근법은 원천 데이터에 접근하지 않더라도 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 레이블 노이즈와 도메인 분포의 변화에 대해 뛰어난 내성성을 보여준다.

ABSTRACT

We study a practical domain adaptation task, called source-free unsupervised domain adaptation (UDA) problem, in which we cannot access source domain data due to data privacy issues but only a pre-trained source model and unlabeled target data are available. This task, however, is very difficult due to one key challenge: the lack of source data and target domain labels makes model adaptation very challenging. To address this, we propose to mine the hidden knowledge in the source model and exploit it to generate source avatar prototypes (i.e., representative features for each source class) as well as target pseudo labels for domain alignment. To this end, we propose a Contrastive Prototype Generation and Adaptation (CPGA) method. Specifically, CPGA consists of two stages: (1) prototype generation: by exploring the classification boundary information of the source model, we train a prototype generator to generate avatar prototypes via contrastive learning. (2) prototype adaptation: based on the generated source prototypes and target pseudo labels, we develop a new robust contrastive prototype adaptation strategy to align each pseudo-labeled target data to the corresponding source prototypes. Extensive experiments on three UDA benchmark datasets demonstrate the effectiveness and superiority of the proposed method.

연구 동기 및 목표

• 개인정보 보호 제약으로 인해 원천 데이터 접근이 불가능한 상황에서 비지도 도메인 적응의 과제를 해결하기 위해.
• 원천 데이터 없이 도메인 분포의 변화와 타겟 레이블 부족 문제를 극복하기 위해 사전 훈련된 원천 모델의 은닉 지식을 활용하기 위해.
• 원천 데이터 없이도 지도가 가능한 클래스별 대표 특징 프로토타입(아바타 프로토타입)을 생성하여 도메인 정렬을 이끄는 방법을 개발하기 위해.
• 가짜 레이블의 노이즈를 줄이면서도 안정적인 적응 전략을 설계하기 위해.
• 신뢰도 재가중, 초기 학습 정규화, 특징 클러스터링을 통해 모델의 일반화 능력과 도메인 정렬 성능을 향상시키기 위해.

제안 방법

• 원천 모델의 분류 경계에서 대비 학습을 이용해 내부 클래스 간의 밀집도가 높고 외부 클래스 간의 분리도가 높은 아바타 프로토타입을 생성하기 위해 프로토타입 생성기를 훈련한다.
• 첫 번째 단계에서 사전 훈련된 원천 모델을 사용해 레이블이 없는 타겟 데이터에 대해 가짜 레이블을 생성한다.
• 각 가짜 레이블이 부여된 타겟 샘플을 해당 원천 프로토타입에 정렬하는 대비 프로토타입 적응 손실을 적용하며, 신뢰도 가중치를 통해 노이즈를 감소시킨다.
• 학습 중에 낮은 신뢰도의 가짜 레이블을 감소시키기 위해 신뢰도 재가중을 도입한다.
• 학습 안정성 향상과 수렴 속도 향상을 위해 초기 학습 정규화를 적용한다.
• 특징 클러스터링을 통해 특징의 밀집도를 향상시켜 타겟 특징이 더 분류 가능하고 도메인 불변적이게 한다.

실험 결과

연구 질문

• RQ1 원천 데이터에 접근하지 않더라도 대표적인 원천 특징 프로토타입을 효과적으로 생성할 수 있는가?
• RQ2 노이즈가 있는 가짜 레이블에 대해 어떻게 안정적인 방식으로 타겟 샘플을 원천 프로토타입에 정렬할 수 있는가?
• RQ3 생성된 프로토타입에 대해 대비 학습을 적용하면 원천 없는 도메인 적응에서 도메인 정렬과 모델 일반화 능력이 향상되는가?
• RQ4 신뢰도 재가중과 초기 학습 정규화는 원천 데이터 없이 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 원천 데이터 없이 표준 UDA 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 CPGA 방법은 VisDA 벤치마크에서 클래스별 정확도 86.0%를 달성하여 기존의 원천 없는 UDA 방법들을 능가한다.
• 절단 분석 결과, 프로토타입에 대한 대비 손실이 클래스 간 분리도를 향상시키고 클래스 내 밀집도를 높여 정확도를 85.0%에서 86.0%로 증가시킨다.
• 신뢰도 재가중, 초기 학습 정규화, 특징 클러스터링의 조합이 성능을 86.0%까지 향상시켜 노이즈 완화에 효과적임을 입증한다.
• 하이퍼파rameter 분석 결과, 메서드는 강건하며 VisDA에서 최적 설정은 λ=5 및 η=0.05이며, 다양한 값에서도 성능이 안정적으로 유지된다.
• 시각화 결과, 생성된 프로토타입이 잘 분리되어 있고 밀집되어 있음을 확인하여 도메인 정렬에 유용함을 입증한다.
• VisDA, Office-Home 및 DomainNet에서의 광범위한 실험을 통해 CPGA가 기존의 원천 없는 UDA 방법들보다 뛰어난 성능을 보임을 확인한다.