[논문 리뷰] Central Moment Discrepancy (CMD) for Domain-Invariant Representation Learning

Werner Zellinger, Thomas Grubinger외 3명|arXiv (Cornell University)|2017. 02. 28.

Domain Adaptation and Few-Shot Learning인용 수 322

한 줄 요약

Central Moment Discrepancy(CMD) 를 도입하여 도메인 특성 활성화의 고차 중심 모멘트를 명시적으로 일치시키고, 거리 기반 도메인 정규화 기법을 형성하여 지도 학습 없이 도메인 적응 성능을 향상시킵니다.

ABSTRACT

The learning of domain-invariant representations in the context of domain adaptation with neural networks is considered. We propose a new regularization method that minimizes the discrepancy between domain-specific latent feature representations directly in the hidden activation space. Although some standard distribution matching approaches exist that can be interpreted as the matching of weighted sums of moments, e.g. Maximum Mean Discrepancy (MMD), an explicit order-wise matching of higher order moments has not been considered before. We propose to match the higher order central moments of probability distributions by means of order-wise moment differences. Our model does not require computationally expensive distance and kernel matrix computations. We utilize the equivalent representation of probability distributions by moment sequences to define a new distance function, called Central Moment Discrepancy (CMD). We prove that CMD is a metric on the set of probability distributions on a compact interval. We further prove that convergence of probability distributions on compact intervals w.r.t. the new metric implies convergence in distribution of the respective random variables. We test our approach on two different benchmark data sets for object recognition (Office) and sentiment analysis of product reviews (Amazon reviews). CMD achieves a new state-of-the-art performance on most domain adaptation tasks of Office and outperforms networks trained with MMD, Variational Fair Autoencoders and Domain Adversarial Neural Networks on Amazon reviews. In addition, a post-hoc parameter sensitivity analysis shows that the new approach is stable w.r.t. parameter changes in a certain interval. The source code of the experiments is publicly available.

연구 동기 및 목표

• 신경망에서 비지도 도메인 적응을 위한 도메인 불변 표현 학습의 동기를 제시한다.
• 기존 분포 매칭 접근법(예: MMD, KL)의 한계를 고차 중심 모멘트를 명시적으로 일치시킴으로써 해결한다.
• CMD를 활성화 분포 간의 계산적으로 효율적이고 kernel-free 한 거리로 정의한다.
• CMD가 메트릭임을 보장하고 분포 수렴을 의미함에 대한 이론적 보장을 제공한다.
• Office (vision) 및 Amazon reviews (text)에서 CMD를 실증적으로 평가하여 강한 성능과 안정성을 보인다.

제안 방법

• K 차까지의 모멘트를 사용하여 소스와 타깃 활성화 분포 간의 거리로 CMD를 정의한다.
• 콤팩트 구간 위의 분포에 대해 중심 모멘트를 사용하여 메트릭을 구성한다.
• 커널 기반 또는 적대적 방법을 대체하는 선형 시간 정규화항으로서의 실증적 CMD_K를 제공한다.
• 커널 행렬을 필요로 하지 않으면서 CMD_K를 도메인 정규화항으로 학습 목표에 통합한다.
• 표준 활성화 함수로부터 CMD_K의 기울기 계산이 가능하여 그래디언트 기반 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 고차 중심 모멘트의 명시적 차수별 매칭이 1차 모멘트나 커널 기반 방법과 비교하여 도메인 적응을 개선할 수 있는가?
• RQ2 CMD가 콤팩트 구간 위의 확률 분포에 대한 유효한 메트릭인가, 그리고 CMD 수렴이 분포 수렴을 함의하는가?
• RQ3 표준 도메인 적응 벤치마크(Office 및 Amazon reviews)에서 CMD_K가 안정적인 하이퍼파라미터 동작으로 최첨단 또는 경쟁력 있는 성능을 제공하는가?

주요 결과

• CMD가 대부분의 Office 도메인 적응 작업에서 최첨단 성능을 달성한다.
• Amazon reviews 작업에서 CMD가 MMD 기반, 변분형 공정 자동인코더, 도메인 적대적 네트워크보다 뛰어나다.
• 실용적 구간(K≥3) 내에서 매개변수 변화에 대해 CMD 결과가 안정적이다.
• CMD는 샘플 수에 대해 선형 시간 복잡도를 가지며, 이로써 2차 시간 복잡도를 가진 MMD 방법과 차이가 있다.
• 실험 결과는 여러 베이스라인과의 비교를 포함하고, CMD가 다양한 작업에서 더 높은 정확도를 자주 나타낸다.