[논문 리뷰] Unsupervised Domain Adaptation by Uncertain Feature Alignment

Tobias Ringwald, Rainer Stiefelhagen|arXiv (Cornell University)|2020. 09. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 4

한 줄 요약

이 논문은 예측 불확실성 추정을 위해 몬테카를로 드롭아웃을 활용하여 모호한 타겟 샘플을 필터링하고 유클리드 공간에서 특징을 정렬하는, 새로운 비지도 도메 적응 방법인 불확실성 기반 필터링 및 특징 정렬(UFAL)을 제안한다. 다중 GPU 학습에서 배치 정규화 문제를 완화하기 위해 불확실성 인식 손실 함수와 스마트 배치 레이아웃을 조합함으로써, Office-Home, Office-Caltech, VisDA-2017 벤치마크에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptation (UDA) deals with the adaptation of models from a given source domain with labeled data to an unlabeled target domain. In this paper, we utilize the inherent prediction uncertainty of a model to accomplish the domain adaptation task. The uncertainty is measured by Monte-Carlo dropout and used for our proposed Uncertainty-based Filtering and Feature Alignment (UFAL) that combines an Uncertain Feature Loss (UFL) function and an Uncertainty-Based Filtering (UBF) approach for alignment of features in Euclidean space. Our method surpasses recently proposed architectures and achieves state-of-the-art results on multiple challenging datasets. Code is available on the project website.

연구 동기 및 목표

• 라벨이 부여된 소스 데이터와 라벨이 없는 타겟 데이터가 서로 다른 분포에서 유래하는 도메인 시프트 문제를 해결하기 위해.
• 모델의 불확실성을 활용하여 특징 정렬과 샘플 필터링를 이끌어내어 타겟 도메인에서의 일반화 성능을 향상시키기 위해.
• 도메 적응 설정에서 배치 정규화로 인한 다중 GPU 학습의 불안정성 문제를 해결하기 위해.
• 라벨이 부여된 타겟 데이터가 필요 없이 최신 기술 성능을 달성하는 방법을 개발하기 위해.

제안 방법

• 이 방법은 몬테카를로 드롭아웃을 사용하여 예측 불확실성을 추정하며, 불확실성 정량화를 위한 베이지안 추론의 근사치를 제공한다.
• 예측 불확실성에 따라 특징 거리를 조정하는 불확실성 기반 특징 손실(UFL)을 도입하여 고신뢰도 영역에서의 정렬을 촉진한다.
• 학습 중에 높은 불확실성을 가진 타겟 샘플을 제거하는 불확실성 기반 필터링(UBF) 메커니즘을 도입하여 강건성을 향상시킨다.
• 스마트 배치 레이아웃(SBL)을 활용하여 간호 배치 정규화를 UDA에 확장함으로써 배치 통계에서의 도메인 시프트를 감소시킨다.
• 소스 및 타겟 특징 간의 불확실성 인식 거리를 최소화하여 유클리드 공간에서 특징을 정렬한다.
• 소스 데이터에 대해 교차 엔트로피 손실을, 타겟 데이터에 대해 UFL + UBF를 사용하여 엔드 투 엔드로 프레임워크를 학습시킨다.

실험 결과

연구 질문

• RQ1 예측 불확실성이 비지도 도메 적응에서 특징 정렬과 샘플 필터링을 향상시키는 데 효과적으로 활용될 수 있는가?
• RQ2 불확실성 기반 필터링은 높은 도메인 시프트를 가진 타겟 도메인에서의 모델 일반화에 어떤 영향을 미치는가?
• RQ3 간호 배치 정규화가 UDA에 적응되어 다중 GPU 환경에서의 학습 안정성을 향상시킬 수 있는가?
• RQ4 불확실성 인식 특징 정렬이 MMD나 적대적 훈련과 같은 표준 도메인 정렬 방법보다 우수한 성능을 내는가?
• RQ5 다양한 데이터셋에서 불확실성 필터링 비율과 최종 모델 정확도 사이의 관계는 어떠한가?

주요 결과

• UFAL은 Office-Caltech 데이터셋에서 97.3%의 최신 기술 정확도를 달성하여, 이전 방법인 CDAN+E 및 RWA를 뛰어넘었다.
• Office-Home 데이터셋에서 UFAL은 평균 정확도 97.3%를 기록하여, CADA-P 및 TADA와 같은 이전 최신 기술 방법을 초월했다.
• VisDA-2017 벤치마크에서는 UFAL이 96.8%의 정확도를 달성하여 대규모이고 세분화된 분류 작업에서 강력한 일반화 능력을 보였다.
• 필터링된 타겟 샘플 비율은 학습이 진행되면서 약 60%에서 거의 0%로 감소하며, 더 복잡한 전이 작업(예: Pr-Cl에서 65개 클래스)일수록 높은 필터링 비율과 관련이 있다.
• t-SNE 시각화 결과, UFAL은 소스 전용 학습 후 관찰되는 조밀한 군집과 달리, 적응 후 타겟 특징을 명확하고 의미 있는 군집으로 분리하는 데 성공했다.
• 스마트 배치 레이아웃(SBL)은 도메 적응 환경에서 배치 정규화 실패 문제를 해결함으로써 다중 GPU 환경에서의 학습 안정성과 성능을 크게 향상시켰다.