[논문 리뷰] Domain Adaptation without Source Data

Youngeun Kim, Donghyeon Cho외 3명|arXiv (Cornell University)|2020. 07. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 24

한 줄 요약

이 논문은 소스 데이터에 접근하지 않고도 도메인 적응을 가능하게 하는 새로운 방법인 소스 데이터 프리 도메인 적응(SFDA)을 제안한다. 이 방법은 사전 훈련된 소스 모델을 활용해 자기 엔트로피를 통해 신뢰할 수 있는 타겟 샘플을 식별하며, 클래스 프로토타입과 세트 간 거리 필터링을 사용해 견고한 의사 레이블을 부여하여, 직접적인 소스 데이터 접근 없이도 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Domain adaptation assumes that samples from source and target domains are freely accessible during a training phase. However, such an assumption is rarely plausible in the real-world and possibly causes data-privacy issues, especially when the label of the source domain can be a sensitive attribute as an identifier. To avoid accessing source data that may contain sensitive information, we introduce Source data-Free Domain Adaptation (SFDA). Our key idea is to leverage a pre-trained model from the source domain and progressively update the target model in a self-learning manner. We observe that target samples with lower self-entropy measured by the pre-trained source model are more likely to be classified correctly. From this, we select the reliable samples with the self-entropy criterion and define these as class prototypes. We then assign pseudo labels for every target sample based on the similarity score with class prototypes. Furthermore, to reduce the uncertainty from the pseudo labeling process, we propose set-to-set distance-based filtering which does not require any tunable hyperparameters. Finally, we train the target model with the filtered pseudo labels with regularization from the pre-trained source model. Surprisingly, without direct usage of labeled source samples, our PrDA outperforms conventional domain adaptation methods on benchmark datasets. Our code is publicly available at https://github.com/youngryan1993/SFDA-SourceFreeDA

연구 동기 및 목표

• 생체 정보와 같은 민감한 레이블을 포함할 수 있는 소스 데이터가 개인정보 문제를 야기할 수 있는 도메인 적응 환경에서의 개인정보 보호 문제를 해결하기 위해.
• 라벨이 부여된 소스 샘플에 직접 접근하지 않고도 작동하는 도메인 적응 프레임워크를 개발하기 위해.
• 사전 훈련된 소스 모델에서 얻은 자기 엔트로피를 사용해 소스 데이터에 접근하지 않고도 타겟 샘플의 신뢰도를 식별하기 위해.
• 프로토타입 기반 유사도와 세트 간 거리 필터링을 통해 의사 레이블링의 신뢰도를 향상시키기 위해.
• 소스 데이터를 사용하지 않고도 표준 벤치마크에서 경쟁 가능한 성능을 달성하기 위해.

제안 방법

• 사전 훈련된 소스 모델을 사용해 타겟 샘플의 자기 엔트로피를 계산하고, 낮은 엔트로피를 가진 샘플을 신뢰할 수 있는 샘플로 선별한다.
• 훈련 중에 각 클래스별로 낮은 엔트로피 타겟 샘플을 메모리 백에 클래스 프로토타입으로 저장한다.
• 타겟 샘플과 저장된 클래스 프로토타입 간의 특징 유사도를 기반으로 타겟 중심의 의사 레이블을 할당한다.
• 하우스도르프 거리 기반 세트 간 거리 필터링을 적용하여 초모수를 필요로 하지 않고도 의사 레이블의 신뢰도를 추정한다.
• 소스 정규화 손실과 동적으로 가중된 감독을 갖는 자기 학습 손실을 조합하여 타겟 모델을 훈련한다.
• 훈련 중에 점차 자기 학습 손실의 영향력을 증가시키기 위해 동적 무게 계수 α를 사용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 소스 모델만을 사용하고 소스 데이터에 접근하지 않아도 신뢰할 수 있는 타겟 샘플을 식별할 수 있는가?
• RQ2 소스 데이터가 이용 불가능할 경우 의사 레이블링을 어떻게 강건하게 만들 수 있는가?
• RQ3 조정 가능한 초모수 없이도 세트 간 거리 필터링이 의사 레이블의 불확실성을 효과적으로 줄일 수 있는가?
• RQ4 소스 정규화 손실과 자기 학습 손실을 조합하면 소스 데이터가 없을 경우에도 도메인 적응 성능을 향상시킬 수 있는가?
• RQ5 SFDA는 소스 데이터를 전혀 사용하지 않고도 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• SFDA는 소스 데이터에 접근하지 않아도 Office-Home 및 VisDA-C 벤치마크에서 기존의 도메인 적응 방법들을 능가한다.
• ResNet-101을 사용한 VisDA-C에서 SFDA는 동적 α 설정으로 평균 정확도 76.7%를 기록하여 정적 α 설정과 기준 방법들을 모두 능가한다.
• 신뢰할 수 있는 샘플을 식별하기 위해 자기 엔트로피를 사용한 결과, 약 30%의 타겟 샘플이 신뢰할 수 있는 것으로 분류되었으며, 이는 프로토타입으로 사용되었다.
• 하우스도르프 거리 기반 세트 간 거리 필터링은 의사 레이블의 불확실성을 효과적으로 감소시키고 모델의 일반화 성능을 향상시켰다.
• 동적 가중 전략(α)은 모든 정적 α 설정보다 뛰어난 성능을 보이며, 적응적 손실 균형 조정의 이점을 입증했다.
• SFDA는 Office-31 및 VisDA-C에서 최신 기술 수준의 성능을 달성하여, 효과적인 도메인 적응을 위해 소스 데이터가 반드시 필요하지 않음을 확인했다.