[논문 리뷰] Semi-Supervised Hypothesis Transfer for Source-Free Domain Adaptation

Ning Ma, Jiajun Bu외 5명|arXiv (Cornell University)|2021. 07. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 5

한 줄 요약

이 논문은 원천 데이터에 접근할 수 없음에도 불구하고 사전 학습된 원천 모델의 가설을 타겟 도메인으로 전이하는 소스 프리 세미-서파일드 도메인 어댑테이션 방법을 제안한다. 반복적인 엔트로피 최소화와 불확실성 인식 레이블 전파를 통해 도메인 간 및 도메인 내 정렬을 향상시켜 공개 벤치마크에서 SOTA 대비 최대 19.9%의 정확도 향상을 달성한다.

ABSTRACT

Domain Adaptation has been widely used to deal with the distribution shift in vision, language, multimedia etc. Most domain adaptation methods learn domain-invariant features with data from both domains available. However, such a strategy might be infeasible in practice when source data are unavailable due to data-privacy concerns. To address this issue, we propose a novel adaptation method via hypothesis transfer without accessing source data at adaptation stage. In order to fully use the limited target data, a semi-supervised mutual enhancement method is proposed, in which entropy minimization and augmented label propagation are used iteratively to perform inter-domain and intra-domain alignments. Compared with state-of-the-art methods, the experimental results on three public datasets demonstrate that our method gets up to 19.9% improvements on semi-supervised adaptation tasks.

연구 동기 및 목표

• 개인정보 제약으로 인해 원천 데이터가 사용 불가능한 상황에서 시각 및 멀티미디어 작업에서 발생하는 도메인 시프트 문제를 해결한다.
• 테스트 시점에 원천 데이터가 전혀 제공되지 않는 소스 프리 설정에서 라벨이 부여된 타겟 데이터만을 이용해 효과적인 세미-서파일드 도메인 어댑테이션을 가능하게 한다.
• 고정된 분류기 가설과 반복적 자기학습을 통한 불확실성 추정을 활용하여 원천 도메인과 타겟 도메인 간의 정렬을 향상시킨다.
• 엔트로피 최소화와 강화된 레이블 전파를 통해 최소한의 라벨이 부여된 타겟 데이터로 성능을 극대화한다.

제안 방법

• 원천 도메인의 사전 학습된 분류기를 가설 전이 학습을 통해 타겟 도메인으로 전이하며, 어댑테이션 과정에서 분류기를 고정한다.
• 비라벨 타겟 특징에 대해 엔트로피 최소화를 적용하여 확신 있는 예측을 유도하고 비라벨 데이터의 불확실성을 감소시킨다.
• 타겟 특징 기반의 k-최근접 이웃 그래프를 이용해 증강된 레이블 전파를 구현하며, 낮은 불확실성의 샘플을 우선적으로 가짜 레이블링에 활용한다.
• 불확실성 추정(예: 몬테카를로 드롭아웃)을 사용해 노이즈가 많은 가짜 레이블을 걸러내고 반복적 개선 과정에서의 강건성을 향상시킨다.
• 교차 엔트로피 손실(라벨이 부여된 데이터), 비라벨 데이터에 대한 엔트로피 최소화 손실, 가짜 레이블링 손실, 도메인 불변 대비 손실을 병합한다.
• 엔트로피 최소화와 레이블 전파 간 상호 강화를 반복적으로 적용하여 도메인 간 및 도메인 내 정렬을 향상시킨다.

실험 결과

연구 질문

• RQ1 테스트 시점에 원천 데이터가 완전히 접근 불가능한 상황에서 가설 전이가 효과적인 도메인 어댑테이션을 가능하게 할 수 있는가?
• RQ2 소스 프리 세미-서파일드 설정에서 제한된 라벨이 부여된 타겟 데이터를 어떻게 효과적으로 활용할 수 있는가?
• RQ3 엔트로피 최소화와 레이블 전파 간 반복적 상호 강화가 표준 기준 대비 도메인 정렬을 향상시키는가?
• RQ4 가장 성능에 영향을 미치는 하이퍼파라미터(예: 불확실성 임계값, k, λ₀)는 무엇이며, 어떻게 최적화할 수 있는가?

주요 결과

• 제안된 방법은 세미-서파일드 소스 프리 도메인 어댑테이션 벤치마크에서 SOTA 기법 대비 최대 19.9%의 정확도 향상을 달성한다.
• 클래스당 3개의 라벨이 부여된 Office-Home 데이터셋에서, 모든 정규화 구성 요소를 사용할 경우 55.8%의 정확도를 달성했으며, 교차 엔트로피 손실만 사용할 경우 48.1%로 성능이 떨어진다.
• 제거 실험 결과, 낮은 불확실성 데이터를 활용한 엔트로피 최소화와 가짜 레이블링이 성능 향상에 크게 기여하는 것으로 나타났으며, 필터링 없이 다양성 손실을 적용할 경우 성능 저하가 발생한다.
• 너무 많은 낮은 불확실성 샘플을 사용할 경우 성능이 저하됨을 확인하여, 가짜 레이블링에서 품질이 수량보다 중요함을 시사한다.
• k-최근접 이웃 그래프의 최적의 k 값은 1보다 크며, k=1일 경우 그래프가 희박해지고 레이블 전파 성능이 떨어진다.
• 제안된 방법은 다양한 소수의 라벨 설정(1-shot에서 3-shot)에서 Office-Home 및 DomainNet 모두에서 베이스라인 기법을 능가하는 일반화 성능을 보인다.