[논문 리뷰] A Balanced and Uncertainty-aware Approach for Partial Domain Adaptation

Jian Liang, Yunbo Wang외 3명|arXiv (Cornell University)|2020. 03. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 5

한 줄 요약

이 논문은 부분 도메인 적응을 위한 새로운 도메인 적응 방법인 BA3US를 제안한다. 이 방법은 균형 잡힌 적대적 정렬(BAA)과 적응형 불확실성 억제(AUS)를 통해 부정적 전이와 불확실성 전파 문제를 해결한다. BAA는 타겟 도메인에 소스 데이터를 샘플링하여 보강함으로써 레이블 분포를 균형 잡는다. AUS는 신뢰도 가중 보완 엔트로피 목적함수를 사용하여 잘못된 클래스에 대한 높은 예측 점수를 억제하여, 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

This work addresses the unsupervised domain adaptation problem, especially in the case of class labels in the target domain being only a subset of those in the source domain. Such a partial transfer setting is realistic but challenging and existing methods always suffer from two key problems, negative transfer and uncertainty propagation. In this paper, we build on domain adversarial learning and propose a novel domain adaptation method BA$^3$US with two new techniques termed Balanced Adversarial Alignment (BAA) and Adaptive Uncertainty Suppression (AUS), respectively. On one hand, negative transfer results in misclassification of target samples to the classes only present in the source domain. To address this issue, BAA pursues the balance between label distributions across domains in a fairly simple manner. Specifically, it randomly leverages a few source samples to augment the smaller target domain during domain alignment so that classes in different domains are symmetric. On the other hand, a source sample would be denoted as uncertain if there is an incorrect class that has a relatively high prediction score, and such uncertainty easily propagates to unlabeled target data around it during alignment, which severely deteriorates adaptation performance. Thus we present AUS that emphasizes uncertain samples and exploits an adaptive weighted complement entropy objective to encourage incorrect classes to have uniform and low prediction scores. Experimental results on multiple benchmarks demonstrate our BA$^3$US surpasses state-of-the-arts for partial domain adaptation tasks. Code is available at \url{https://github.com/tim-learn/BA3US}.

연구 동기 및 목표

• 소스 전용 클래스가 타겟 도메인 정렬을 오도하는 부분 도메인 적응에서의 부정적 전이 문제를 해결하기 위해.
• 소스 데이터에서 잘못된 클래스에 대한 높은 예측 점수가 타겟 데이터와의 정렬을 악화시키는 불확실성 전파 문제를 완화하기 위해.
• 타겟 도메인 증강을 통해 부분 도메인 적응 문제를 더 다룰 수 있는 비지도 도메인 적응 문제로 변환하기 위해.
• 레이블 분포 균형과 불확실성 억제를 동시에 최적화하여 모델의 강건성과 정확도를 향상시키기 위해.

제안 방법

• BAA는 적대적 훈련 중에 소스 샘플을 무작위로 샘플링하여 더 작은 타겟 도메인을 보강함으로써 레이블 분포를 균형 잡는다. 이로써 도메인 간에 대칭적인 클래스 표현을 확보한다.
• AUS는 불확실한 샘플(낮은 신뢰도)에 주목하고 잘못된 클래스에 대해 균일하고 낮은 예측 점수를 유도하는 적응형 가중 보완 엔트로피 손실을 도입한다.
• 이 방법은 도메인 적대적 네트워크 기반의 통합 프레임워크에 BAA와 AUS를 통합하며, 도메인 정렬을 위해 기울기 반전 기법을 사용한다.
• 클래스 수준의 가중치를 적용하여 소스 전용 클래스를 걸러내고, 공유 클래스에만 집중하여 적응을 수행한다.
• 모델는 예측 신뢰도에 따라 동적으로 조정되는 신뢰도 가중 보완 엔트로피 목적함수를 사용하여 불확실성 전파를 억제한다.
• 훈련 과정은 적응형 샘플링 비율 ρ와 정기적으로 재계산되는 클래스 가중치 m을 활용한 반복 최적화를 포함하며, 정렬과 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 소스 샘플을 몇 개 타겟 도메인에 보강함으로써 레이블 분포를 효과적으로 균형 잡고 부분 도메인 적응에서의 부정적 전이를 줄일 수 있는가?
• RQ2 잘못된 클래스에 대한 높은 예측 점수가 도메인 정렬에 미치는 영향은 무엇이며, 이를 완화할 수 있는가?
• RQ3 낮은 신뢰도 샘플에 주목하는 적응형 보완 엔트로피 목적함수는 부분 도메인 적응에서 일반화 성능 향상에 기여하는가?
• RQ4 제안된 방법은 Office-Home 및 Office31와 같은 표준 부분 도메인 적응 벤치마크에서 최신 기술 수준 성능을 달성할 수 있는가?
• RQ5 불확실성 억제 메커니즘은 부분 도메인 적응 외에도 표준 폐쇄집합 도메인 적응에도 효과적인가?

주요 결과

• BA3US는 Office-Home 및 Office31 벤치마크에서 최신 기술 수준 성능을 기록했으며, Office31 데이터셋에서 Ar→Cl의 정확도가 75.98%이고 A→D는 97.81%를 기록했다.
• 모델는 하이퍼파rameter 선택에 대해 높은 강건성을 보이며, β와 ξ의 다양한 값에서도 안정적인 성능을 유지하여 민감도가 낮음을 시사한다.
• 적응형 보완 엔트로피 목적함수는 표준 보완 엔트로피(ξ=0)보다 정확도에서 0.4–0.5% 향상되어 그 효과를 입증한다.
• t-SNE 시각화 결과, BA3US는 기준 방법 대비 더 구분력 있고 도메인에 정렬된 특징을 생성한다.
• 수렴 분석 결과, BA3US는 빠르게 수렴하며, 특히 1,000회 반복 이후 E-DANN 및 'source only' 기준보다 뛰어난 성능을 보인다.
• 기존 최신 기술 수준 방법 대비 상당한 성능 향상을 기록했으며, 도전적인 부분 도메인 적응 과제에서 최대 1.5% 향상된 성능을 달성했다.