[논문 리뷰] Progressive Feature Alignment for Unsupervised Domain Adaptation

Chaoqi Chen, Weiping Xie외 6명|arXiv (Cornell University)|2018. 11. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 24

한 줄 요약

이 논문은 진보적인 특징 정렬 네트워크(Progressive Feature Alignment Network, PFAN)를 제안한다. PFAN은 Easy-to-Hard Transfer Strategy (EHTS)를 통해 반복적으로 신뢰할 수 있는 가짜 레이블이 부여된 샘플을 선택하고, Adaptive Prototype Alignment (APA)를 사용해 교차 도메인 간 분류 정렬을 개선하는 새로운 비지도 도메 적응 방법이다. 온도 조절 소프트맥스를 통해 소스 분류기 수렴 속도를 늦춤으로써 오류 누적 문제를 완화하고 클래스 일관성을 유지함으로써, 세 가지 UDA 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Unsupervised domain adaptation (UDA) transfers knowledge from a label-rich source domain to a fully-unlabeled target domain. To tackle this task, recent approaches resort to discriminative domain transfer in virtue of pseudo-labels to enforce the class-level distribution alignment across the source and target domains. These methods, however, are vulnerable to the error accumulation and thus incapable of preserving cross-domain category consistency, as the pseudo-labeling accuracy is not guaranteed explicitly. In this paper, we propose the Progressive Feature Alignment Network (PFAN) to align the discriminative features across domains progressively and effectively, via exploiting the intra-class variation in the target domain. To be specific, we first develop an Easy-to-Hard Transfer Strategy (EHTS) and an Adaptive Prototype Alignment (APA) step to train our model iteratively and alternatively. Moreover, upon observing that a good domain adaptation usually requires a non-saturated source classifier, we consider a simple yet efficient way to retard the convergence speed of the source classification loss by further involving a temperature variate into the soft-max function. The extensive experimental results reveal that the proposed PFAN exceeds the state-of-the-art performance on three UDA datasets.

연구 동기 및 목표

• 목표 도메인 샘플의 신뢰할 수 없는 가짜 레이블링으로 인한 오류 누적 문제를 해결한다.
• 목표 도메인 내의 동일 클래스 간 변동성을 활용해 가짜 레이블링 샘플의 신뢰도를 향상시킨다.
• 점진적이고 반복적인 방식으로 소스 및 목표 프로토타입을 정렬함으로써 교차 도메인 분류 일관성을 향상시킨다.
• 온도 변수를 사용해 소스 분류 손실의 수렴 속도를 늦춤으로써 소스 데이터에 대한 과적합을 완화한다.
• 가짜 레이블 품질 향상과 도메인 불변 표현 학습을 동시에 개선하는 견고한 프레임워크를 개발한다.

제안 방법

• 교차 도메인 유사도를 기반으로 반복적으로 신뢰할 수 있는 가짜 레이블이 부여된 목표 샘플을 선택하는 Easy-to-Hard Transfer Strategy (EHTS)를 제안한다.
• 선택된 가짜 레이블 샘플을 사용해 통계적으로 소스 및 목표 클래스 프로토타입을 정렬하는 Adaptive Prototype Alignment (APA)를 도입한다. 이는 잘못 레이블링된 샘플로부터 오는 편향을 감소시킨다.
• EHTS와 APA를 반복 학습 루프 내에서 번갈아가며 적용해 점진적으로 특징 정렬을 개선하고 가짜 레이블 신뢰도를 향상시킨다.
• 온도 하이퍼파rameter를 소프트맥스 함수에 통합하여 소스 분류 손실의 수렴 속도를 늦추고, 비포화된 소스 분류기를 유지한다.
• A-distance를 도메인 차이의 척도로 사용해 커널 SVM을 적용하여 분포 이탈 감소를 검증한다.
• t-SNE 시각화를 통해 PFAN과 기준 모델 간의 특징 공간 군집 구조를 비교하여, 더 나은 클래스 간 분리도와 더 낮은 클래스 내 산란도를 입증한다.

실험 결과

연구 질문

• RQ1 신뢰할 수 있는 가짜 레이블 샘플의 반복적 선택이 비지도 도메 적응의 견고성 향상에 기여하는가?
• RQ2 적응형 프로토타입 정렬이 UDA에서 잘못 레이블링된 샘플의 부정적 영향을 어떻게 완화하는가?
• RQ3 소스 분류기의 수렴 속도를 늦추는 것이 도메인 적응 성능 향상에 어느 정도 기여하는가?
• RQ4 A-distance를 줄이는 것만으로도 목표 도메인 정확도 향상이 보장되는가, 아니면 클래스 수준의 정렬이 더 핵심적인가?
• RQ5 목표 도메인 내의 동일 클래스 변동성을 효과적으로 활용해 가짜 레이블링 품질과 분류 일관성을 향상시킬 수 있는가?

주요 결과

• PFAN은 세 가지 표준 UDA 벤치마크에서 기존 방법들(RevGrad 및 기준 모델 포함)을 능가하는 최신 기술 수준의 성능을 달성한다.
• 제거 실험 결과, EHTS, APA, 온도 스케일링, 전역 프로토타입 정렬 모두가 필수적임을 확인하였으며, 각 요소를 제거할 경우 성능 저하가 심각하게 발생한다.
• EHTS 덕분에 학습 전반에 걸쳐 가짜 레이블링 정확도가 높고 안정적으로 유지되어, 큰 도메인 이격 조건에서도 신뢰할 수 있는 샘플 선택이 가능함을 시사한다.
• 정확하게 레이블링된 샘플 수가 증가할수록 테스트 정확도가 비례적으로 증가함을 보여, PFAN이 잘못 레이블링된 샘플의 부정적 영향을 효과적으로 억제함을 입증한다.
• t-SNE 시각화 결과, PFAN은 RevGrad 대비 더 분류 가능성이 높은 특징을 학습하며, 클래스 간 분리도는 뚜렷하고 클래스 내 산란도는 감소된 것으로 나타났다.
• RevGrad에 비해 A-distance 감소 폭은 작지만 PFAN은 훨씬 높은 목표 도메인 정확도를 달성함으로써, 낮은 도메인 분산은 강력한 UDA 성능을 위한 필수 조건이 아니며, 충분한 조건도 아님을 시사한다.