[논문 리뷰] Your Classifier can Secretly Suffice Multi-Source Domain Adaptation

Naveen Venkat, Jogendra Nath Kundu외 3명|ePrints@IISc (Indian Institute of Science)|2021. 03. 20.

Domain Adaptation and Few-Shot Learning인용 수 21

한 줄 요약

이 논문은 암시적 특징 정렬을 통한 다중 소스 도메인 적응(MSDA)을 위한 간단하면서도 효과적인 방법인 Self-supervised Implicit Alignment(SImpAl)을 제안한다. 이 방법은 보조 손실 없이, 가짜 레이블이 부여된 타겟 샘플에서 분류기의 일致를 활용하여 도메인 간 특징을 암시적으로 정렬한다. 분류기의 일치를 학습 신호이자 수렴 신호로 사용함으로써, 카테고리 이동 조건에서도 강건한 성능을 기록하며 다섯 가지 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Multi-Source Domain Adaptation (MSDA) deals with the transfer of task knowledge from multiple labeled source domains to an unlabeled target domain, under a domain-shift. Existing methods aim to minimize this domain-shift using auxiliary distribution alignment objectives. In this work, we present a different perspective to MSDA wherein deep models are observed to implicitly align the domains under label supervision. Thus, we aim to utilize implicit alignment without additional training objectives to perform adaptation. To this end, we use pseudo-labeled target samples and enforce a classifier agreement on the pseudo-labels, a process called Self-supervised Implicit Alignment (SImpAl). We find that SImpAl readily works even under category-shift among the source domains. Further, we propose classifier agreement as a cue to determine the training convergence, resulting in a simple training algorithm. We provide a thorough evaluation of our approach on five benchmarks, along with detailed insights into each component of our approach.

연구 동기 및 목표

• 암시적 특징 정렬 손실에 의존하지 않고 다중 소스 도메인 적응(MSDA)에서의 도메인 이동 문제를 해결하는 것.
• 레이블 감독 하에 심층 분류기가 도메인 이동 및 카테고리 이동 조건이 존재하더라도 암묵적인 도메인 정렬을 자연스럽게 유도하는지 조사하는 것.
• 학습 수렴을 위한 분류기 일치 기반 기준을 개발하여 최적화 효율을 향상시키는 것.
• 암묵적 정렬을 통한 분류기 일치가 적대적 훈련이나 복잡한 정렬 구성 요소가 필요한 기존 방법보다 우수한 성능을 낼 수 있는지 입증하는 것.

제안 방법

• 이 방법은 공유 특징 추출기와 소스별로 특화된 분류기를 사용하며, 레이블이 부여된 소스 도메인과 가짜 레이블이 부여된 타겟 샘플에서 훈련한다.
• 동일한 입력에 대해 여러 분류기 간의 불일치를 최소화하여 소스 및 타겟 샘플 모두에서 분류기 일치를 강제한다.
• 비라벨 타겟 데이터에 대한 모델 자체의 예측 결과로부터 가짜 레이블을 생성하며, 이를 암시적 정렬의 기초로 삼는다.
• 타겟 샘플을 쉽게부터 어려운 순서로 정렬하기 위해 평균 분류기 마진 $ w(\mathbf{x}_t, f, h) $ 를 기반으로 신뢰도 가중 커리큘럼을 구성한다.
• 수렴 지표로 타겟 일치율 $ A(\mathcal{D}_t, f, h) $ 를 사용하며, 증가하는 일치율은 안정적인 훈련을 시사한다.
• 도메인 식별기나 세분화된 정렬 모듈과 같은 추가 구성 요소를 사용하지 않으며, 레이블 감독과 분류기 일致성에만 의존한다.

실험 결과

연구 질문

• RQ1 레이블 감독 하에 암묵적 특징 정렬이 암시적 도메인 정렬 목적이 없더라도 심층 모델에서 자연스럽게 발생할 수 있는가?
• RQ2 가짜 레이블이 부여된 타겟 샘플에서 분류기 일치는 다수의 소스 및 타겟 도메인 간에 잠재 특징을 얼마나 효과적으로 정렬하는가?
• RQ3 분류기 일치는 MSDA에서 학습 수렴을 모니터링하는 신뢰할 수 있는 신호로 기능할 수 있는가?
• RQ4 소스 도메인이 클래스 분포에서 다를 경우, 즉 카테고리 이동 조건에서 제안된 방법이 일반화 가능한가?
• RQ5 간단한 자기지도 학습 접근 방식이 적대적 훈련이나 보조 손실이 필요한 복잡한 방법보다 우수한 성능을 낼 수 있는가?

주요 결과

• SImpAl는 광범위하게 사용되는 다섯 가지 MSDA 벤치마크에서 최신 기준 성능을 달성하며, 적대적 훈련이나 보조 정렬 손실을 사용하지 않아도 된다.
• 이 방법은 카테고리 이동 조건에서도 강건성을 보이며, 세분화된 정렬 구성 요소가 없이도 소스 도메인 간 공통 클래스를 효과적으로 정렬한다.
• 학습 과정에서 타겟 가짜 레이블에 대한 분류기 일치율이 증가하며, 이 일치율은 안정적인 수렴을 나타내는 신뢰할 수 있는 지표로 기능한다.
• 분류기 일치 영역 내에서 정확한 가짜 레이블을 가진 타겟 샘플 비율이 크게 증가하여 효과적인 자기지도 학습이 이루어지고 있음을 시사한다.
• 신뢰도 가중 커리큘럼 $ w(\mathbf{x}_t, f, h) $ 는 쉽게부터 어려운 순서로 진행되며, 높은 신뢰도 예측에서 가짜 레이블의 정밀도가 높아진다.
• 실험 분석 결과, 신뢰도 임계값을 사용하면 성능 향상이 이루어지지만 하이퍼파ram터 민감도가 발생하므로, 단순성과 일반화를 위해 주 결과에서는 이를 생략하였다.