[논문 리뷰] HoMM: Higher-order Moment Matching for Unsupervised Domain Adaptation

Chao Chen, Zhihang Fu외 5명|arXiv (Cornell University)|2019. 12. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 7

한 줄 요약

이 논문은 MMD와 CORAL을 일반화하여 임의의 순서의 모멘트 텐서—특히 세 번째 및 네 번째 순서의 모멘트—를 매칭함으로써 더 세밀한 도메인 정렬을 달성하는 새로운 비지도 도메 적응 방법인 고차 모멘트 매칭(HoMM)을 제안한다. 실험 결과 HoMM는 기존의 모멘트 매칭 방법들을 크게 능가하며, 특히 세 번째 및 네 번째 순서 매칭이 표준 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Minimizing the discrepancy of feature distributions between different domains is one of the most promising directions in unsupervised domain adaptation. From the perspective of distribution matching, most existing discrepancy-based methods are designed to match the second-order or lower statistics, which however, have limited expression of statistical characteristic for non-Gaussian distributions. In this work, we explore the benefits of using higher-order statistics (mainly refer to third-order and fourth-order statistics) for domain matching. We propose a Higher-order Moment Matching (HoMM) method, and further extend the HoMM into reproducing kernel Hilbert spaces (RKHS). In particular, our proposed HoMM can perform arbitrary-order moment tensor matching, we show that the first-order HoMM is equivalent to Maximum Mean Discrepancy (MMD) and the second-order HoMM is equivalent to Correlation Alignment (CORAL). Moreover, the third-order and the fourth-order moment tensor matching are expected to perform comprehensive domain alignment as higher-order statistics can approximate more complex, non-Gaussian distributions. Besides, we also exploit the pseudo-labeled target samples to learn discriminative representations in the target domain, which further improves the transfer performance. Extensive experiments are conducted, showing that our proposed HoMM consistently outperforms the existing moment matching methods by a large margin. Codes are available at \url{https://github.com/chenchao666/HoMM-Master}

연구 동기 및 목표

• 기존의 비지도 도메 적응 방법들이 평균과 공분산과 같은 일차 및 이차 통계량에만 의존하여 복잡한 비정규 분포의 특징을 포착하지 못하는 한계를 해결한다.
• 비정규 분포의 깊은 특징 분포를 더 잘 기술하고 정렬하기 위해 고차 통계량(제3차 및 제4차 모멘트)의 잠재력을 탐색한다.
• MMD(일차)와 CORAL(이차)를 일반화하여 임의의 순서의 모멘트 매칭을 가능하게 하는 통합 프레임워크를 개발함으로써 도메인 이질성 최소화를 향상시킨다.
• 신뢰도가 높은 타겟 샘플을 기반으로 한 가짜 레이블 전략을 도입하여 타겟 도메인에서 분류 가능한 클러스터를 학습함으로써 특징의 분류 가능성을 향상시킨다.
• 표준 도메인 적응 벤치마크에서 광범위한 실험을 통해 HoMM의 효과성을 입증하며, 이전 방법들에 비해 일관된 성능 향상을 보였다.

제안 방법

• 소스 도메인과 타겟 도메인 간에 임의의 순서 p ∈ {1,2,3,4,...}의 모멘트 텐서를 매칭하는 통합 프레임워크인 고차 모멘트 매칭(HoMM)을 제안한다.
• HoMM 손실을 소스 및 타겟 특징의 p차 모멘트 텐서 간 차이의 L2 노름으로 정의하여 세밀한 분포 매칭을 가능하게 한다.
• 일차 HoMM가 최대 평균 이질성(MMD)으로 축소되며, 이차 HoMM가 상관관계 정렬(CORAL)과 동일함을 보여, 두 방법을 일반화함을 입증한다.
• 비선형 분포 정렬을 향상시키기 위해 HoMM를 재생 핵 힐버트 공간(RKHS)으로 확장하여 커널 기반 고차 매칭을 가능하게 한다.
• 고신뢰도 예측을 사용해 클러스터를 형성하는 가짜 레이블 기반의 분류 가능 클러스터링 손실을 통합하여 특징의 분류 가능성을 향상시킨다.
• HoMM 손실, 분류 손실, 클러스터링 손실을 모두 포함하는 전체 목표함수를 엔드 투 엔드 학습으로 최적화하여 도메인 이질성을 동시에 최소화하고 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 비정규 분포의 깊은 특징 분포에 대해 제3차 및 제4차 모멘트 매칭이 일차 및 이차 통계량보다 더 나은 도메인 정렬을 제공할 수 있는가?
• RQ2 HoMM의 성능는 다양한 모멘트 순서(p=1에서 p=10까지)에 따라 어떻게 변할까? 도메인 적응에 최적의 순서는 무엇인가?
• RQ3 HoMM를 RKHS로 확장하면 복잡한 비선형 특징 공간에서 도메인 정렬과 일반화 성능을 향상시키는가?
• RQ4 신뢰도가 높은 타겟 샘플에 대한 가짜 레이블 전략이 진정한 레이블이 없는 상황에서 특징의 분류 가능성을 향상시키고 전이 성능을 향상시키는가?
• RQ5 HoMM 프레임워크는 클러스터링 손실 가중치 및 예측 임계값과 같은 하이퍼파rameter에 얼마나 민감한가?

주요 결과

• SVHN→MNIST, Office-Home→VisDA, Office-31 벤치마크에서 제3차 및 제4차 모멘트 매칭이 다른 모든 모멘트 순서보다 일관되게 뛰어난 성능을 보이며, SVHN→MNIST에서 각각 96.5% 및 95.7%의 테스트 정확도를 기록했다.
• 제5차 모멘트 매칭 역시 우수한 성능(94.8% on SVHN→MNIST)을 기록하지만, 더 높은 순서의 모멘트(p≥5)는 작은 표본 크기로 인한 추정 부정확성으로 인해 성능이 떨어진다.
• p=3인 제안된 HoMM 방법은 평가된 모든 작업에서 최고 성능을 기록하며, MMD, CORAL, CMD를 상당한 격차로 앞서간다.
• HoMM와 클러스터링 손실을 함께 사용하는 전체 모델(Full Loss)은 수렴 속도가 빠르며, 클러스터링 손실 활성화 시점인 20,000 반복 이후 테스트 오차가 급격히 감소함을 확인하여 그 효과를 입증했다.
• 제거 실험 결과 클러스터링 손실(L_dc)이 핵심적임을 입증하며, λ_dc 하이퍼파rameter에 민감한 것은 이 손실이 정규화 역할을 한다는 것을 시사한다.
• t-SNE 시각화 결과 HoMM는 MMD와 CORAL보다 더 잘 정렬되고 분류 가능한 특징 표현을 생성함을 확인했으며, 더 명확한 클래스 분리와 감소된 도메인 이동을 보였다.