[논문 리뷰] ProxyMix: Proxy-based Mixup Training with Label Refinery for Source-Free Domain Adaptation

Yuhe Ding, Sheng Lijun외 3명|arXiv (Cornell University)|2022. 05. 29.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

ProxyMix는 분류기 가중치를 클래스 프로토타입으로 사용하여 클래스 균형을 맞춘 가짜 소스 도메인을 구성하고, 주파수 가중치가 부여된 가짜 레이블 정제 기법과 함께 미크스업 정규화를 적용하여 예측 신뢰도를 향상시키는 소스 없는 도메인 적응 방법을 제안한다. 원시 소스 데이터에 접근하지 않거나 추가 파rameter를 추가하지 않아도 2D 및 3D 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptation (UDA) aims to transfer knowledge from a labeled source domain to an unlabeled target domain. Owing to privacy concerns and heavy data transmission, source-free UDA, exploiting the pre-trained source models instead of the raw source data for target learning, has been gaining popularity in recent years. Some works attempt to recover unseen source domains with generative models, however introducing additional network parameters. Other works propose to fine-tune the source model by pseudo labels, while noisy pseudo labels may misguide the decision boundary, leading to unsatisfied results. To tackle these issues, we propose an effective method named Proxy-based Mixup training with label refinery (ProxyMix). First of all, to avoid additional parameters and explore the information in the source model, ProxyMix defines the weights of the classifier as the class prototypes and then constructs a class-balanced proxy source domain by the nearest neighbors of the prototypes to bridge the unseen source domain and the target domain. To improve the reliability of pseudo labels, we further propose the frequency-weighted aggregation strategy to generate soft pseudo labels for unlabeled target data. The proposed strategy exploits the internal structure of target features, pulls target features to their semantic neighbors, and increases the weights of low-frequency classes samples during gradient updating. With the proxy domain and the reliable pseudo labels, we employ two kinds of mixup regularization, i.e., inter- and intra-domain mixup, in our framework, to align the proxy and the target domain, enforcing the consistency of predictions, thereby further mitigating the negative impacts of noisy labels. Experiments on three 2D image and one 3D point cloud object recognition benchmarks demonstrate that ProxyMix yields state-of-the-art performance for source-free UDA tasks.

연구 동기 및 목표

• 개인정보 및 전송 제약으로 인해 원시 소스 데이터를 확보할 수 없는 소스 없는 비지도 도메인 적응 문제에 대응한다.
• 생성 모델에 의존하는 기존 방법(추가 파rameter)이나 노이즈가 많은 가짜 레이블(결정 경계의 불일치 유도)로 인한 한계를 극복한다.
• 사전 학습된 소스 모델만을 활용하여 신뢰할 수 있는 가짜 소스 도메인을 생성하고 가짜 레이블 품질을 향상시키는 방법을 개발한다.
• 정제된 가짜 레이블과 함께 도메인 간 및 도메인 내 미크스업 정규화를 조합하여 특징 정렬과 강건성을 향상시켜 모델 일반화 능력을 향상시킨다.

제안 방법

• 소스 모델의 분류기 가중치를 특징 공간 내 클래스 프로토타입으로 정의하여 가짜 소스 도메인의 대표 샘플 선정을 안내한다.
• 각 클래스 프로토타입의 각도 공간 내 최근접 이웃을 선택하여 클래스 균형을 유지하고 데이터 생성 없이 가짜 소스 도메인을 구성한다.
• 소프트 가짜 레이블을 정제하기 위해 주파수 가중 평균 전략을 도입: 예측을 날카롭게 하고 클래스 빈도에 따라 샘플을 재가중하며, 특징을 집계하여 레이블 신뢰도를 향상시킨다.
• 두 가지 미크스업 정규화 기법을 적용: 가짜 도메인과 타겟 도메인 간의 도메인 간 미크스업, 타겟 도메인 내부의 도메인 내 미크스업을 통해 예측 일관성을 강화하고 노이즈 영향을 줄인다.
• 가짜 소스 도메인 분류 손실, 도메인 간 미크스업 손실, 도메인 내 미크스업 손실을 조합하여 최적화하여 특징 정렬과 일반화 능력을 향상시킨다.
• 낮은 빈도 클래스 샘플의 기울기 업데이트를 증가시켜 가중치를 조정하는 동적 레이블 정제기를 사용하여 가짜 레이블의 클래스 불균형에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 각도 공간 내 클래스 프로토타입의 최근접 이웃을 기반으로 구성된 가짜 소스 도메인이 합성 데이터 생성 없이도 소스 없는 도메인 적응에서 도메인 간 격차를 효과적으로 해소할 수 있는가?
• RQ2 정답 레이블이 없을 경우, 타겟 데이터의 가짜 레이블을 어떻게 정제하여 노이즈를 줄이고 신뢰도를 높일 수 있는가?
• RQ3 가짜 레이블의 주파수 가중 평균이 모델 일반화 능력 향상과 소스 없는 적응에서의 클래스 불균형 문제 완화에 얼마나 기여하는가?
• RQ4 정제된 가짜 레이블과 함께 도메인 간 및 도메인 내 미크스업을 조합할 경우, 기존 SOTA 방법보다 더 나은 도메인 정렬과 높은 정확도를 달성할 수 있는가?
• RQ5 혼합 가중치, 날카움 온도, 가짜 도메인 크기와 같은 하이퍼파rameter에 대해 제안된 방법의 민감도는 어떠한가?

주요 결과

• ProxyMix는 세 개의 2D 이미지 벤치마크(Office-31, Office-Home, VisDA)와 한 개의 3D 포인트 클라우드 벤치마크(ModelNet40)에서 기존 소스 없는 도메인 적응 방법을 능가하는 최신 기술 수준(SOTA) 성능을 달성한다.
• 프로토타입 유도 가짜 소스 도메인 구성 방법이 엔트로피 유도 샘플링보다 높은 평균 정확도를 보이며, 특징 분포 정렬과 클래스 균형 측면에서 명확한 우월성을 보인다.
• 주파수 가중 평균 전략은 가짜 레이블 품질을 크게 향상시켜 t-SNE 시각화에서 더 조밀한 특징 클러스터와 더 명확한 결정 경계를 만들어낸다.
• 절단 실험 결과, 가짜 소스 도메인 손실과 미크스업 손실(도메인 간 및 도메인 내)이 모두 중요하며, 각각 다른 데이터셋에서 성능 향상에 기여한다.
• 제안된 방법은 높은 학습 안정성과 낮은 하이퍼파rameter 민감도를 보이며, λ=1, η=100, N=20 주변에서 성능이 뚜렷하게 유지된다.
• t-SNE 시각화 결과, 특히 제안된 레이블 정제기와 미크스업 정규화를 사용할 경우 타겟 특징이 소스 도메인과 더 잘 정렬됨을 확인할 수 있다.