[논문 리뷰] Adversarial Alignment of Class Prediction Uncertainties for Domain Adaptation

Jeroen Manders, Twan van Laarhoven외 1명|arXiv (Cornell University)|2018. 04. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 12

한 줄 요약

이 논문은 사전 훈련된 딥 네ural 네트워크의 특징에 대해 적대적 학습을 사용하여 소스 도메인과 타겟 도메인 간의 예측 불확실성 분포를 정렬하는 LAD(Learning with Adversarial Domain Alignment)를 제안한다. 도메인 구분자 g는 소스와 타겟 도메인의 예측 불확실성 분포를 구별하도록 훈련되며, 이로 인해 특징 추출기의 미세조정 없이도 정확도와 견고성을 향상시켜 Office-31 및 ImageCLEF-DA 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

We consider unsupervised domain adaptation: given labelled examples from a source domain and unlabelled examples from a related target domain, the goal is to infer the labels of target examples. Under the assumption that features from pre-trained deep neural networks are transferable across related domains, domain adaptation reduces to aligning source and target domain at class prediction uncertainty level. We tackle this problem by introducing a method based on adversarial learning which forces the label uncertainty predictions on the target domain to be indistinguishable from those on the source domain. Pre-trained deep neural networks are used to generate deep features having high transferability across related domains. We perform an extensive experimental analysis of the proposed method over a wide set of publicly available pre-trained deep neural networks. Results of our experiments on domain adaptation tasks for image classification show that class prediction uncertainty alignment with features extracted from pre-trained deep neural networks provides an efficient, robust and effective method for domain adaptation.

연구 동기 및 목표

• 사전 훈련된 딥 네럴 네트워크의 특징을 활용하여 특징 추출기의 미세조정 없이도 이식 가능한 특징를 확보하는 방법을 개발한다.
• 클래스 가중치를 포함한 맞춤형 손실 함수를 통해 예측의 과신을 억제함으로써 견고성을 향상시킨다.
• 다양한 사전 훈련된 아키텍처와 도메인 적응 벤치마크에서 방법을 평가한다.
• 예측 수준에서의 불확실성 정렬이 도메인 적응에 효과적이고 효율적임을 입증한다.

제안 방법

• 이 방법은 소스 및 타겟 도메인 양쪽에서 클래스 확률을 예측하기 위해 레이블 분류기 f를 사용한다.
• 도메인 구분자 g는 소스 도메인과 타겟 도메인의 예측 불확실성 분포를 구별하도록 훈련된다.
• 적대적 학습은 소스 도메인에 대한 지도 학습 손실을 최소화하고, 동시에 도메인 구분자의 소스 대 타겟 불확실성 출력을 분류하는 능력을 최대화하는 방식으로 번갈아가며 수행된다.
• 훈련의 안정성과 견고성을 향상시키기 위해 클래스 가중치를 적용한 손실 함수를 도입한다. 특히 비균형 클래스 분포 상황에서 유의미하다.
• 사전 훈련된 특징 추출기를 미세조정하지 않아 계산적으로 효율적이다.
• t-SNE 시각화를 통해 기준 모델과 LAD 모델 간의 특징 표현을 비교한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 특징의 미세조정 없이도, 예측 불확실성의 적대적 정렬이 도메인 적응 성능을 향상시킬 수 있는가?
• RQ2 손실 함수에 클래스 가중치를 포함할 경우, 비균형 클래스 분포 상황에서 모델의 견고성과 정확도에 어떤 영향을 미치는가?
• RQ3 다양한 사전 훈련된 아키텍처에서 LAD는 기존의 도메인 적응 방법과 비교해 정확도와 효율성 측면에서 어떻게 다른가?
• RQ4 불확실성 정렬이 얼마나 도메인 불변 특징 표현을 향상시키는가?
• RQ5 이 방법은 다양한 이식 작업과 도메인 이동이 있는 다양한 데이터셋에서 일반화 가능한가?

주요 결과

• 클래스 가중치를 적용한 경우, ResNet50 특징를 사용하여 Office-31 데이터셋에서 평균 정확도 87.9%를 달성했으며, 가중치 없이 사용한 경우는 80.3%였다.
• ImageCLEF-DA 데이터셋에서는 클래스 가중치를 적용한 경우 86.5%의 정확도, 적용하지 않은 경우 87.8%의 정확도를 기록하여, 가중치의 효과가 데이터셋에 따라 다름을 보였다. 특히 클래스 분포가 비균형한 경우에 가장 유의미한 영향을 미쳤다.
• LAD는 Office-31 및 ImageCLEF-DA 양쪽에서 기존의 베이스라인을 초월하여 최신 기준 성능을 달성했으며, 더 도전적인 이식 작업에서 특히 두각을 나타냈다.
• t-SNE 시각화 결과, LAD의 특징는 기준 모델의 특징보다 더 도메인 불변적이며 클래스 간 분리도 더 잘 이루어져 있음을 확인했다.
• 계산적으로 효율적이며, 단일 GPU를 사용할 경우 Office-31에서는 단일 훈련 에포크가 0.4초, ImageCLEF-DA에서는 0.2초 밖에 소요되지 않았다.
• 가중치가 있는 손실 함수로 훈련한 결과, 타겟 예측의 과대평가가 발생하여 손실은 증가했지만 정확도는 안정화되어 견고성이 향상됨을 시사했다.