[논문 리뷰] Normalized Wasserstein Distance for Mixture Distributions with Applications in Adversarial Learning and Domain Adaptation

Yogesh Balaji, Rama Chellappa외 1명|arXiv (Cornell University)|2019. 02. 01.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 7

한 줄 요약

이 논문은 혼합 비율이 균형 잡히지 않은 다중모달 분포에서의 문제를 해결하기 위해 혼합 비율을 거리 계산 과정의 일부로 최적화하는 새로운 최적 운반 거리 측정법인 정규화 워셔스타인(NW) 거리를 제안한다. 공유된 구성 요소를 가지지만 학습 가능한 비율을 가진 중간 분포를 도입함으로써 NW는 GAN, 도메인 적응, 그리고 적대적 클러스터링에서 성능을 크게 향상시킨다. 비균형 MNIST에서 42%의 타겟 도메인 손실 감소와 98%의 클러스터 순도를 달성한다.

ABSTRACT

Understanding proper distance measures between distributions is at the core of several learning tasks such as generative models, domain adaptation, clustering, etc. In this work, we focus on mixture distributions that arise naturally in several application domains where the data contains different sub-populations. For mixture distributions, established distance measures such as the Wasserstein distance do not take into account imbalanced mixture proportions. Thus, even if two mixture distributions have identical mixture components but different mixture proportions, the Wasserstein distance between them will be large. This often leads to undesired results in distance-based learning methods for mixture distributions. In this paper, we resolve this issue by introducing the Normalized Wasserstein measure. The key idea is to introduce mixture proportions as optimization variables, effectively normalizing mixture proportions in the Wasserstein formulation. Using the proposed normalized Wasserstein measure leads to significant performance gains for mixture distributions with imbalanced mixture proportions compared to the vanilla Wasserstein distance. We demonstrate the effectiveness of the proposed measure in GANs, domain adaptation and adversarial clustering in several benchmark datasets.

연구 동기 및 목표

• 표준 워셔스타인 거리가 비율이 균형 잡히지 않은 구성 요소를 가진 혼합 분포 간의 거리를 측정할 때 가지는 한계를 해결한다.
• 엄격한 주변 조건으로 인해 동일한 구성 요소이지만 비율이 다를 경우 큰 워셔스타인 거리가 발생하는 문제를 해결한다.
• 다중모달 데이터에서 구조적 유사성을 더 잘 반영하기 위해 혼합 비율을 정규화하는 거리 측정법을 개발한다.
• 모드 불균형 하에서 생성 모델링, 도메인 적응, 클러스터링에서 제안된 측정법의 효과성을 입증한다.
• 학습 중 생성기 혼합 비율을 최적화함으로써 분리 표현 학습과 개선된 클러스터링을 가능하게 한다.

제안 방법

• 입력 분포에서 두 개의 중간 혼합 분포로의 워셔스타인 거리의 합으로 정규화 워셔스타인(NW) 측정법을 정의한다. 이 중간 분포들은 공유된 생성기들을 가지지만 최적화된 혼합 비율을 가진다.
• NW 측정법을 생성기와 혼합 비율에 대한 최소화 문제로 공식화한다: $ W_N(P_X, P_Y) = \min_{\mathbf{G}, \pi^{(1)}, \pi^{(2)}} W(P_X, P_{\mathbf{G}, \pi^{(1)}}) + W(P_Y, P_{\mathbf{G}, \pi^{(2)}}) $.
• 생성기 출력에서 모드 다양성을 장려하기 위해 정규화 항 $ R = \sum_{i>j} \pi_i \pi_j W(\mathbf{G}_i(Z), \mathbf{G}_j(Z)) $ 를 도입한다.
• 혼합 비율 $ \pi $ 를 생성기와 함께 엔드 투 엔드로 최적화하는 NW-GAN 모델을 훈련함으로써 분리된 생성을 가능하게 한다.
• 균형 잡힌 비율을 가진 중간 분포를 구성함으로써 도메인 적응을 지도하기 위해 NW 측정법을 사용하여 잘못된 쌍결합을 감소시킨다.
• 가까운 모드에 데이터 포인트를 할당함으로써 적대적 클러스터링에 NW 측정법을 적용하며, 정규화 항을 통해 모드 다양성을 강제한다.

실험 결과

연구 질문

• RQ1 표준 워셔스타인 거리는 동일한 구성 요소이지만 비율이 다른 혼합 분포 간의 거리를 측정할 때 어떻게 실패하는가?
• RQ2 거리 계산 과정에서 혼합 비율을 최적화하는 것이 비균형 다중모달 분포에 대해 더 의미 있는 유사성 측정법을 가능하게 할 수 있는가?
• RQ3 제안된 정규화 워셔스타인 측정법이 모드 불균형 하에서 GAN 훈련, 도메인 적응, 클러스터링에서 성능을 얼마나 향상시키는가?
• RQ4 사전 지식이 없는 상황에서 모드 수 $ k $ 는 어떻게 신뢰성 있게 추정할 수 있는가?
• RQ5 NW 측정법은 명시적 지도 없이도 생성 모델에서 분리 표현 학습을 가능하게 할 수 있는가?

주요 결과

• 기본 워셔스타인 GAN에 비해 도메인 적응에서 타겟 도메인 손실이 42% 감소하였다.
• 2, 4, 6 숫자로 구성된 비균형 MNIST 데이터셋에서 NW 기반 클러스터링 방법은 98%의 클러스터 순도를 달성하였으며, k-means(82%)와 GMM(75%)를 모두 능가하였다.
• NW-GAN 모델은 분리된 표현을 성공적으로 학습하였다: 혼합 비율 $ \pi $ 가 최적화될 경우 생성기가 구분 가능한 모드(예: CIFAR-10 또는 CelebA)를 생성하지만, 고정된 $ \pi $ 는 모드 혼합을 유도한다.
• 모드 수 $ k $ 를 선택하는 알고리즘은 경험적으로 검증되었으며, $ k^* = 9 $ 는 NW 측정법이 포화 상태에 도달하고 $ k-1 $ 에서 $ k $ 로의 감소 폭이 최대가 되는 가장 작은 $ k $ 로 확인되었다.
• 정규화 항 $ R $ 는 생성된 모드 간의 다양성을 효과적으로 촉진하여 붕괴를 방지하고 적대적 클러스터링에서 안정적인 훈련을 가능하게 하였다.
• 모든 평가된 과제—GAN, 도메인 적응, 클러스터링—에서 NW 측정법은 최고 성능을 기록하였으며, 특히 모드 불균형 상황에서 강건성과 일반화 능력을 입증하였다.