[논문 리뷰] Generation, augmentation, and alignment: A pseudo-source domain based method for source-free domain adaptation

Yuntao Du, Haiyang Yang외 4명|arXiv (Cornell University)|2021. 09. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 9

한 줄 요약

이 논문은 원본 소스 데이터에 접근할 수 없음에도 불구하고 소스 프로토타입 근처의 타겟 샘플들로부터 가짜 소스 도메인을 생성하고, 이를 mixup를 통해 증강한 후, 분포 정렬을 위한 네 가지 새로운 손실 함수(분류 손실, 다양성 손실, 일관성 손실, 도메인 적대적 손실 포함)를 적용하는 소스 없는 도메인 적응 방법을 제안한다. 이 방법은 Digits 및 VisDA 벤치마크에서 기존 최고 성능를 기록하며 도메인 분리 문제를 효과적으로 완화한다.

ABSTRACT

Conventional unsupervised domain adaptation (UDA) methods need to access both labeled source samples and unlabeled target samples simultaneously to train the model. While in some scenarios, the source samples are not available for the target domain due to data privacy and safety. To overcome this challenge, recently, source-free domain adaptation (SFDA) has attracted the attention of researchers, where both a trained source model and unlabeled target samples are given. Existing SFDA methods either adopt a pseudo-label based strategy or generate more samples. However, these methods do not explicitly reduce the distribution shift across domains, which is the key to a good adaptation. Although there are no source samples available, fortunately, we find that some target samples are very similar to the source domain and can be used to approximate the source domain. This approximated domain is denoted as the pseudo-source domain. In this paper, inspired by this observation, we propose a novel method based on the pseudo-source domain. The proposed method firstly generates and augments the pseudo-source domain, and then employs distribution alignment with four novel losses based on pseudo-label based strategy. Among them, a domain adversarial loss is introduced between the pseudo-source domain the remaining target domain to reduce the distribution shift. The results on three real-world datasets verify the effectiveness of the proposed method.

연구 동기 및 목표

• 기존의 소스 없는 도메인 적응(SFDA) 방법이 소스 도메인과 타겟 도메인 간의 도메인 분리 문제를 명시적으로 줄이지 못하는 한계를 해결하기 위해.
• 소스 도메인과 유사한 타겟 샘플들을 활용하여 소스 분포를 근사하는 가짜 소스 도메인을 구성하기 위해.
• 가짜 소스 도민을 생성하고 증강하며 다중 손실 기반의 분포 정렬을 적용하여 SFDA 성능을 향상시키기 위해.
• 가짜 소스 도메인과 나머지 타겟 도메인 간의 분포 차이를 적대적 학습을 통해 명시적으로 줄이기 위해.

제안 방법

• 방법은 소스 모델의 프로토타입에 가까운 타겟 샘플들을 가짜 소스 샘플로 식별하여 가짜 소스 도메인을 구성한다.
• mixup 데이터 증강 기법을 사용하여 가짜 소스 도메인을 생성하고 증강함으로써 다양성과 대표성을 향상시킨다.
• 분포 정렬 과정에서 네 가지 새로운 손실 함수를 적용한다: 분류 손실, 다양성 손실, 일관성 손실, 도메인 적대적 손실.
• 도메인 적대적 손실은 가짜 소스 도메인과 나머지 타겟 도메인 간의 분포 차이를 최소화하도록 특별히 설계되었다.
• 모델은 가짜 레이블링을 통해 자기 학습을 수행하며, 소스 데이터에 접근하지 못하더라도 소스 모델의 지식 정착을 가능하게 한다.
• 이 방법은 엔드 투 엔드로 훈련 가능하며, 훈련된 소스 모델과 레이블이 없는 타겟 데이터만을 사용한다.

Figure 1: The motivation of the proposed method. (a) Although there are no source samples, we find that the target samples near the source prototypes can be used to represent the source domain. Thus, (b) PS firstly generates a pseudo-source domain by selecting such target samples. Then, (c) PS enlar

실험 결과

연구 질문

• RQ1 실제 소스 데이터가 없는 상황에서 소스 도메인과 유사한 타겟 샘플들을 효과적으로 활용하여 가짜 소스 도메인을 재구성할 수 있는가?
• RQ2 mixup를 통해 가짜 소스 도메인을 증강하면 소스 없는 환경에서 도메인 적응 성능이 향상되는가?
• RQ3 가짜 소스 도메인과 나머지 타겟 도메인 간의 명시적 분포 정렬이 도메인 분리 문제를 줄이고 일반화 성능을 향상시키는가?
• RQ4 기존 SFDA 방법들과 비교했을 때, 제안된 방법은 도메인 불일치와 분류 정확도 측면에서 어떤가?

주요 결과

• 제안된 방법은 Digits 데이터셋(M→U)에서 98.6%의 정확도를 기록했으며, VisDA(P→G)에서는 84.1%의 정확도를 달성하여 기존 최고 수준의 SFDA 방법을 초월한다.
• 절단 실험 결과, mixup 증강이 성능 향상에 기여하며, 모든 손실 조합이 최고의 성능을 낸다.
• 도메인 적대적 손실은 A-distance를 79.3(소스 전용)에서 84.1(본 논문)로 감소시켜 도메인 분리 문제의 감소를 확인한다.
• 모델은 배치 크기에 대해 강건하며, 가짜 소스 비율 α=0.1에서 최적의 성능을 기록하여 샘플 품질과 수량 간의 균형을 이룬다.
• t-SNE 시각화 결과, 분포 정렬이 도메인 분리 문제를 줄이며 가짜 소스 도메인과 타겟 도메인의 특징가 분리 가능성이 높아졌음을 확인한다.
• SHOT 및 기타 SFDA 기반 방법들과 비교해 본 논문의 방법은 특히 도메인 불일치를 줄이는 데 뛰어나며, A-distance 및 정확도 지표로 검증되었다.

Figure 2: The model structure of the proposed method. $g_{s}$ , $f_{s}$ and $g_{t}$ , $f_{t}$ are the feature extractors and classifiers of the source model and target model, respectively. GRL is the gradient reversal layer and $D$ is the domain discriminator.