[논문 리뷰] Central Moment Discrepancy (CMD) for Domain-Invariant Representation Learning

Werner Zellinger, Thomas Grubinger외 3명|arXiv (Cornell University)|2017. 02. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 214

한 줄 요약

CMD는 도메인 정규화기에 새로운 도메인 정규화기를 도입하여 숨김 활성화의 고차 중앙 모멘트의 매칭을 명시적으로 수행하여 도메인 불변 표현을 생성하고, 커널 기반 MMD 계산 없이 Office 및 Amazon 리뷰 벤치마크에서 최첨단 결과를 달성한다.

ABSTRACT

The learning of domain-invariant representations in the context of domain adaptation with neural networks is considered. We propose a new regularization method that minimizes the discrepancy between domain-specific latent feature representations directly in the hidden activation space. Although some standard distribution matching approaches exist that can be interpreted as the matching of weighted sums of moments, e.g. Maximum Mean Discrepancy (MMD), an explicit order-wise matching of higher order moments has not been considered before. We propose to match the higher order central moments of probability distributions by means of order-wise moment differences. Our model does not require computationally expensive distance and kernel matrix computations. We utilize the equivalent representation of probability distributions by moment sequences to define a new distance function, called Central Moment Discrepancy (CMD). We prove that CMD is a metric on the set of probability distributions on a compact interval. We further prove that convergence of probability distributions on compact intervals w.r.t. the new metric implies convergence in distribution of the respective random variables. We test our approach on two different benchmark data sets for object recognition (Office) and sentiment analysis of product reviews (Amazon reviews). CMD achieves a new state-of-the-art performance on most domain adaptation tasks of Office and outperforms networks trained with MMD, Variational Fair Autoencoders and Domain Adversarial Neural Networks on Amazon reviews. In addition, a post-hoc parameter sensitivity analysis shows that the new approach is stable w.r.t. parameter changes in a certain interval. The source code of the experiments is publicly available.

연구 동기 및 목표

• 신경망에서 도메인별 잠재 표현을 정렬하여 무감독 도메인 적응을 동기화하고 해결한다.
• 숨겨진 활성화에 대한 분포 간의 모멘트 기반 거리로 Central Moment Discrepancy(CMD)를 도입한다.
• CMD가 컴팩트 구간上的 분포에 대한 거리 척도이며 분포 수렴을 함의하는 이론적 보장을 제공한다.
• Office(컴퓨터 비전) 및 Amazon 리뷰(감정 분석) 벤치마크에서 실험적 성능 향상을 입증한다.
• CMD가 하이퍼파라미터 선택에 대해 강건하고 커널 기반 방법에 비해 계산 부담이 감소하는 것을 보인다.

제안 방법

• 모든 차수의 중심 모멘트 차이를 기반으로 한 분포 간의 거리로 CMD_K의 경험적이고 계산 가능한 근사를 사용하여 정의한다.
• CMD가 컴팩트 구간에서 확률 분포의 거리 척도이며 CMD 수렴이 분포 수렴을 함의함을 증명한다.
• 표준 손실과 함께 도메인 적응 목표에 CMD_K를 정규화 항으로 통합하여 커널 매트릭스 계산 없이 사용한다.
• 소스 라벨링과 대상 도메인 활성화에 대해 손실에 CMD_K를 더해 경사 하강법으로 신경망을 학습한다.
• 정보를 포착하는 정도와 계산 효율의 균형을 맞추기 위해 K(모멘트 차수)를 작은 고정 값(예: 5)으로 설정한다.
• Amazon 리뷰와 Office 데이터셋에서 CMD를 MMD, MKL, VFAE, DANN과 비교한다.

실험 결과

연구 질문

• RQ1 도메인 특이 활성화의 고차 중심 모멘트를 차수별로 명시적으로 매칭하는 것이 1차 모멘트 매칭보다 도메인 불변 표현 학습을 향상시키는가?
• RQ2 CMD가 유효한 거리 척도이며 CMD 수렴이 컴팩트 구간上的 분포 수렴을 보장하는가?
• RQ3 CMD_K가 MMD와 같은 커널 기반 접근법에 비해 계산적 이점을 제공하면서 도메인 적응 성능을 유지하거나 향상시키는가?
• RQ4 표준 도메인 적응 벤치마크(Office와 Amazon 리뷰)에 대해 CMD_K를 사용하는 것이 기존 방법과 비교해 어떤 실증적 영향을 미치는가?
• RQ5 모멘트 차수 매개변수 K와 다른 하이퍼파라미터의 선택에 CMD가 얼마나 민감한가?

주요 결과

• CMD가 여러 Office 도메인 적응 작업에서 최첨단 성능을 달성한다.
• CMD가 대다수의 Amazon 리뷰 작업에서 MMD, VFAE, DANN보다 우수한 성능을 보인다.
• CMD가 이차 시간 복잡도의 MMD에 비해 더 간단하고 선형 시간의 계산으로 경쟁력 있는 정확도를 제공한다.
• CMD는 실용적 구간에서의 매개변수 변화에 대해 안정적인 것으로 나타났으며(K가 대략 5 주변), 실용적일 정도의 강건성을 보인다.
• 이론적 결과는 CMD를 거리 척도로 확립하고, 컴팩트 구간의 주변 분포에 대해 CMD 수렴이 분포 수렴을 함의함을 보여준다.