[논문 리뷰] Simple Domain Adaptation with Class Prediction Uncertainty Alignment.

Jeroen Manders, Elena Marchiori외 1명|arXiv (Cornell University)|2018. 04. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 22인용 수 13

한 줄 요약

이 논문은 적대적 훈련을 사용하여 소스 도메인과 타겟 도메인 간의 예측 클래스 확률을 정렬함으로써 단순하면서도 효과적인 비지도 도메인 적응 방법을 제안한다. 도메인 간 예측 불확실성을 최소화함으로써, 아키텍처나 훈련 방식의 최소한의 수정으로도 표준 이미지 분류 벤치마크에서 최신 기술 수준의 성능을 달성하면서 과적합에 강건함을 입증한다.

ABSTRACT

Unsupervised domain adaptation tries to adapt a classifier trained on a labeled source domain to a related but unlabeled target domain. Methods based on adversarial learning try to learn a representation that is at the same time discriminative for the labels yet incapable of discriminating the domains. We propose a very simple and efficient method based on this approach which only aligns predicted class probabilities across domains. Experiments show that this strikingly simple adversarial domain adaptation method is robust to overfitting and achieves state-of-the-art results on datasets for image classification.

연구 동기 및 목표

• 라벨이 부여된 소스 데이터와 레이블이 없는 타겟 데이터가 서로 다른 분포를 가진 도메인 간 이동 문제를 해결하기 위해.
• 타겟 도메인에 대한 레이블링 정보 없이도 모델의 일반화 성능을 향상시키기 위해.
• 최소한의 아키텍처 및 훈련 수정으로도 높은 성능를 유지하면서 과적합에 강건한 방법을 개발하기 위해.
• 최소한의 아키텍처 및 훈련 변경으로 표준 이미지 분류 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.

제안 방법

• 이 방법은 소스 도메인과 타겟 도메인 간의 예측 클래스 확률 분포를 정렬하기 위해 적대적 훈련을 사용한다.
• 모델이 도메인 출처에 관계없이 둘 다 유사한 클래스 예측을 하도록 유도하기 위해 도메인 구분자 모듈을 도입한다.
• 이 접근법은 불확실성 정렬에 초점을 맞추며, 타겟 도메인의 예측 엔트로피를 최소화하여 예측의 모호성을 줄인다.
• 소스 데이터에 대한 교차 엔트로피 손실과 도메인 불변 표현을 정렬하기 위한 적대적 손실을 조합하여 엔드 투 엔드로 모델을 훈련한다.
• 추가 모듈이나 복잡한 아키텍처를 도입하지 않으며, 이 방법은 오직 클래스 확률 정렬에 의존한다.
• 불확실성 정렬의 정규화 효과로 인해 훈련 과정이 안정적이고 과적합에 덜 민감하다.

실험 결과

연구 질문

• RQ1 오직 클래스 확률 정렬에 기반한 단순한 방법이 비지도 도메인 적응에서 최신 기술 수준의 성능를 달성할 수 있는가?
• RQ2 도메인 간 불확실성 정렬이 모델의 강건성과 타겟 도메인으로의 일반화에 어떤 영향을 미치는가?
• RQ3 타겟 도메인의 예측 엔트로피를 최소화함으로써 도메인 적응 성능가 향상되는가?
• RQ4 복잡한 특징 수준의 도메인 정렬이나 적대적 특징 분리 도메인 구분자 없이도 적대적 훈련이 효과적일 수 있는가?

주요 결과

• 제안된 방법은 비지도 도메인 적응을 위한 표준 이미지 분류 벤치마크에서 최신 기술 수준의 성능를 달성한다.
• 제한된 레이블이 부여된 소스 데이터를 가진 상황에서도 과적합에 강건함을 입증한다.
• 예측된 클래스 확률 정렬만으로도 기준 모델 대비 뚜렷한 성능 향상을 이룬다.
• 특징 수준의 도메인 정렬이나 적대적 특징 분리에 의존하는 더 복잡한 도메인 적응 방법들보다도 성능가 뛰어나다.