[논문 리뷰] Source Data-absent Unsupervised Domain Adaptation through Hypothesis Transfer and Labeling Transfer

Jian Liang, Dapeng Hu외 3명|arXiv (Cornell University)|2020. 12. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 115인용 수 24

한 줄 요약

이 논문은 소스 데이터에 접근할 수 없을 경우에도 작동하는 비지도 도메인 적응을 위한 Source HypOthesis Transfer (SHOT)를 제안한다. 사전 훈련된 소스 모델만을 활용하며, 정보 최대화와 자기지도 학습을 통해 타겟 특징을 소스 분류기의 가설에 정렬하고, 신뢰도 기반 레이블 전이(SHOT++)를 통해 예측을 향상시킨다. 이로 인해 숫자 인식 및 물체 인식 벤치마크에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptation (UDA) aims to transfer knowledge from a related but different well-labeled source domain to a new unlabeled target domain. Most existing UDA methods require access to the source data, and thus are not applicable when the data are confidential and not shareable due to privacy concerns. This paper aims to tackle a realistic setting with only a classification model available trained over, instead of accessing to, the source data. To effectively utilize the source model for adaptation, we propose a novel approach called Source HypOthesis Transfer (SHOT), which learns the feature extraction module for the target domain by fitting the target data features to the frozen source classification module (representing classification hypothesis). Specifically, SHOT exploits both information maximization and self-supervised learning for the feature extraction module learning to ensure the target features are implicitly aligned with the features of unseen source data via the same hypothesis. Furthermore, we propose a new labeling transfer strategy, which separates the target data into two splits based on the confidence of predictions (labeling information), and then employ semi-supervised learning to improve the accuracy of less-confident predictions in the target domain. We denote labeling transfer as SHOT++ if the predictions are obtained by SHOT. Extensive experiments on both digit classification and object recognition tasks show that SHOT and SHOT++ achieve results surpassing or comparable to the state-of-the-arts, demonstrating the effectiveness of our approaches for various visual domain adaptation problems. Code is available at \url{https://github.com/tim-learn/SHOT-plus}.

연구 동기 및 목표

• 기밀 또는 개인정보 보호 문제로 인해 소스 데이터에 접근이 불가능한 상황에서 비지도 도메인 적응의 과제를 해결한다.
• 소스 데이터나 타겟 레이블에 접근하지 않고도 사전 훈련된 소스 모델만을 활용해 효과적인 도메인 적응을 위한 방법을 개발한다.
• 소스 데이터가 없을 경우 소스 도메인 표현과 타겟 도메인 특징를 정렬하는 데 어려움을 해결한다.
• 예측 신뢰도에 따라 높고 낮은 신뢰도 예측을 분리하고, 준지도 학습을 적용함으로써 타겟 데이터의 예측 신뢰도를 향상시킨다.
• 다양한 시각적 도메인 적응 시나리오, 특히 클로즈드셋 및 파트리얼셋 설정에서 제안된 프레임워크의 유효성을 입증한다.

제안 방법

• 소스 모델의 분류기 헤드(가설)를 고정하고, 타겟 데이터에서 공통 특징 인코더를 미세조정하여 특징을 소스 가설에 정렬하는 Source HypOthesis Transfer (SHOT)를 제안한다.
• 타겟 특징와 소스 모델 출력 간의 정보 최대화를 통해 타겟 데이터에서 확신 있는, one-hot 유사 예측을 유도한다.
• 라벨 없이도 특징 표현 품질을 향상시키기 위해 자기지도 학습 목표(예: 회전 예측)를 통합한다.
• 예측 신뢰도에 기반해 타겟 예측을 높은 신뢰도 및 낮은 신뢰도 집합으로 분할하는 레이블 전이 전략을 설계한다.
• 낮은 신뢰도 집합에 대해 준지도 학습을 적용하여 전체 정확도를 향상시킨다.
• 가설 전이와 레이블 전이를 결합하여 반복적인 타겟 예측 개선이 가능한 SHOT++로 SHOT을 확장한다.

실험 결과

연구 질문

• RQ1 소스 데이터에 접근할 수 없더라도 사전 훈련된 소스 모델만을 활용해 강력한 성능을 내는 도메인 적응 방법이 가능한가?
• RQ2 소스 데이터가 없을 경우 소스 모델의 분류 가설과 타겟 도메인 특징를 효과적으로 정렬할 수 있는가?
• RQ3 자기지도 학습과 신뢰도 기반 레이블 전이가 소스 데이터가 없는 도메인 적응에서 예측 정확도를 얼마나 향상시킬 수 있는가?
• RQ4 신뢰도 임계값 및 손실 가중치와 같은 하이퍼파rameter 선택에 대해 제안된 방법이 얼마나 강인한가?
• RQ5 가설 전이와 레이블 전이의 조합(SHOT++)이 클로즈드셋 및 파트리얼셋 도메인 적응 모두에서 기존 최신 기술 수준의 방법을 초월하는가?

주요 결과

• SHOT은 소스 데이터에 접근하지 않더라도 숫자 분류(SVHN → MNIST 등) 및 물체 인식(Office-Home 등) 벤치마크에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다.
• SHOT++는 Office-Home 및 VisDA-2017를 포함한 여러 UDA 벤치마크에서 기존 최신 기술 수준의 방법을 뛰어나거나 동등하게 성능을 내며 슈퍼리어하다.
• 성능이 다양한 신뢰도 임계값과 손실 가중치 범위에서 안정적으로 유지되어 하이퍼파rameter 선택에 대해 강인함을 입증한다.
• t-SNE 시각화 결과에서 SHOT은 특히 클래스별 군집화에서 소스 특징과 타겟 특징를 효과적으로 정렬함을 보이며 기준 방법들을 능가한다.
• 학습 과정이 안정적이며, 손실 함수가 8~10 에포크 내에 수렴하고 정확도가 안정적으로 향상되어 신뢰할 수 있는 최적화임을 시사한다.
• 정성적 분석 결과, 레이블 전이 전략이 쉽게 분류 가능한 샘플과 어려운 샘플을 효과적으로 분리하며, 낮은 신뢰도 예측이 준지도 학습을 통해 크게 향상됨을 확인한다.