[논문 리뷰] Do We Really Need to Access the Source Data? Source Hypothesis Transfer for Unsupervised Domain Adaptation

Jian Liang, Dapeng Hu외 1명|arXiv (Cornell University)|2020. 02. 19.

Domain Adaptation and Few-Shot Learning인용 수 324

한 줄 요약

이 논문은 frozen 소스 분류기와 대상 특화 인코더를 사용하고 자기 지도식 의사 레이블링을 통해 소스 데이터에 접근하지 않고도 도메인 적응을 수행하는 SHOT 프레임워크를 소개한다. SHOT은 다양한 DA 설정에서 최첨단 결과를 달성한다.

ABSTRACT

Unsupervised domain adaptation (UDA) aims to leverage the knowledge learned from a labeled source dataset to solve similar tasks in a new unlabeled domain. Prior UDA methods typically require to access the source data when learning to adapt the model, making them risky and inefficient for decentralized private data. This work tackles a practical setting where only a trained source model is available and investigates how we can effectively utilize such a model without source data to solve UDA problems. We propose a simple yet generic representation learning framework, named \\emph{Source HypOthesis Transfer} (SHOT). SHOT freezes the classifier module (hypothesis) of the source model and learns the target-specific feature extraction module by exploiting both information maximization and self-supervised pseudo-labeling to implicitly align representations from the target domains to the source hypothesis. To verify its versatility, we evaluate SHOT in a variety of adaptation cases including closed-set, partial-set, and open-set domain adaptation. Experiments indicate that SHOT yields state-of-the-art results among multiple domain adaptation benchmarks.

연구 동기 및 목표

• 실행 중인 소스 데이터 프라이버시를 보존하는 상태에서 훈련된 소스 모델만 이용 가능한 실용적 비지도 DA 설정을 мотив화한다.
• 소스 데이터 없이 대상 가설과 일치시키는 일반Representation 학습 프레임워크(SHOT)를 제안한다.
• 정보 최대화와 자기 지도식 의사 레이블링을 통해 대상 특징 학습을 개선한다.
• SHOT를 closed-set, partial-set, open-set DA 벤치마크에서 평가하여 다재다능성과 성능을 입증한다.
• 네트워크 아키텍처 선택(가중치 정규화, 배치 정규화, 라벨 스무딩)이 적응을 촉진하는지 탐색한다

제안 방법

• 소스 분류기(hypothesis) h_s를 고정하고 대상 특징 인코더 g_t를 학습하여 소스 가설에 적합한 대상 표현을 생성한다.
• 엔트로피 최소화와 다양성 촉진으로 구성된 정보 최대화(IM) 목적을 최적화하여 대상 출력이 하나의 클래스에 거의 수렴하되 다양하게 분포하도록 한다.
• 대상 도메인 프로토타입에 기반한 자기 지도식 의사 레이블링을 도입하여 대상 표현을 다듬고 소스 주도 레이블의 노이즈 의존도를 줄인다.
• β 매개변수로 IM 손실과 의사 레이블 가이던스를 결합하기 위한 균형 항을 포함한 의사 레이블 감독을 도입한다.
• 네트워크 내에서 가중치 정규화, 배치 정규화, 라벨 스무딩을 적용하여 적응력을 향상시킨다.
• SHOT를 엔드투엔드 프레임워크로 형식화하여 부분/오픈-세트 DA 설정으로 확장할 수 있게 한다.

실험 결과

연구 질문

• RQ1 훈련된 소스 모델을 소스 데이터를 접근하지 않고도 비지도 도메인 적응에 효과적으로 사용할 수 있는가?
• RQ2 소스 데이터를 공유하지 않고 대상 특징 학습을 어떻게 가이딩하여 소스 가설과 일치시킬 수 있는가?
• RQ3 정보 최대화와 자기 지도식 의사 레이블링이 closed-, partial-, open-set DA 전반에 걸쳐 로버스트한 크로스도메인 표현을 얻는가?
• RQ4 BN, WN, LS와 같은 아키텍처 선택이 SHOT의 적응 성능을 더 향상시키는가?

주요 결과

• SHOT-IM 및 SHOT은 여러 벤치마크에서 소스 모델만 사용한 기준선보다 일관되게 성능이 우수하다.
• Office-Home 데이터셋에서 SHOT은 closed-set DA에서 평균 정확도를 71.8%로, open-set/partial 설정에서 79.3%로 향상시키며 이전 방법들보다 우수하다.
• digits, Office, VisDA-C 과제에서 SHOT은 최첨단 또는 경쟁력 있는 결과를 달성하며, 자기 지도식 의사 레레이링으로 SHOT-IM을 종종 능가한다.
• 자기 지도식 의사 레이블링은 순진한 의사 레이블링보다 성능이 강하고, L_ent와 L_div를 결합하면 일반적으로 가장 우수한 결과를 제공한다.
• ablations에서 BN, WN, LS는 성능에 기여하며 SHOT-IM과의 조합이 전체적으로 최상의 결과를 낳는다.
• 표와 같은 결과에서 SHOT은 높은 평균치를 달성하고(예: Office-Home에서 SHOT 풀 버전이 이전 방법들보다 유의하게 우수) 과제별 이득이 크다.