[논문 리뷰] Generalizing Point Embeddings using the Wasserstein Space of Elliptical Distributions

Boris Muzellec, Marco Cuturi|arXiv (Cornell University)|2018. 05. 01.

Anomaly Detection Techniques and Applications인용 수 30

한 줄 요약

이 논문은 물체를 워샤르슈타인 거리 공간 내 타원형 확률 분포로 표현하는 워샤르슈타인 타원형 임베딩을 제안한다. 2-워샤르슈타인 거리의 닫힌 형태 표현을 활용함으로써 평균과 공분산 항으로 분해되며, 이는 점 임베딩의 더 수치적으로 안정적이고 직관적인 확장 가능성을 제공하며, 의미 관계(예: 하이퍼니미 등)를 포착하는 데 있어 KL 발산 기반의 가우시안 임베딩보다 우수하다.

ABSTRACT

Embedding complex objects as vectors in low dimensional spaces is a longstanding problem in machine learning. We propose in this work an extension of that approach, which consists in embedding objects as elliptical probability distributions, namely distributions whose densities have elliptical level sets. We endow these measures with the 2-Wasserstein metric, with two important benefits: (i) For such measures, the squared 2-Wasserstein metric has a closed form, equal to a weighted sum of the squared Euclidean distance between means and the squared Bures metric between covariance matrices. The latter is a Riemannian metric between positive semi-definite matrices, which turns out to be Euclidean on a suitable factor representation of such matrices, which is valid on the entire geodesic between these matrices. (ii) The 2-Wasserstein distance boils down to the usual Euclidean metric when comparing Diracs, and therefore provides a natural framework to extend point embeddings. We show that for these reasons Wasserstein elliptical embeddings are more intuitive and yield tools that are better behaved numerically than the alternative choice of Gaussian embeddings with the Kullback-Leibler divergence. In particular, and unlike previous work based on the KL geometry, we learn elliptical distributions that are not necessarily diagonal. We demonstrate the advantages of elliptical embeddings by using them for visualization, to compute embeddings of words, and to reflect entailment or hypernymy.

연구 동기 및 목표

• 복잡한 객체 구조를 포착하는 데에 한계가 있는 점 임베딩의 문제를 해결하기 위해, 이를 확률 분포로 일반화함으로써 보다 일반적인 표현을 제공하고자 한다.
• 특히 Kullback-Leibler 발산 기반의 기존 확률 임베딩에서 나타나는 수치적 불안정성과 기하학적 제약을 극복하고자 한다.
• 2-워샤르슈타인 거리에서 Dirac 델타 수렴을 통한 점 임베딩의 자연스러운 확장 프레임워크를 개발하고자 한다.
• 비대칭 공분산 학습을 가능하게 하여 임bedded 객체 내 불확실성과 상관관계를 더 풍부하게 표현할 수 있도록 하고자 한다.
• 이 프레임워크의 유용성을 어휘 임베딩, 시각화, 함의 관계 포착 등의 의미적 작업에서 입증하고자 한다.

제안 방법

• 물체를 타원형 분포로 표현함으로써, 밀도 등고선이 타원형인 분포로 점 임베딩을 일반화함.
• 이러한 분포들의 공간에 2-워샤르슈타인 거리를 도입함으로써 제곱 거리에 대한 닫힌 형태 표현을 가능하게 함.
• 제곱 2-워샤르슈타인 거리를 평균 간 유클리드 거리의 제곱과 공분산 행렬 간의 제곱 Bures 거리의 합으로 분해함.
• 양의 정부호 행렬의 인수분해 표현에서 Bures 거리가 유클리드 거리로 변환됨을 활용하여 안정적인 최적화를 가능하게 함.
• 기존 연구에서 흔히 볼 수 있는 대각선 제약을 피하고, 훈련 중에 전체 비대칭 공분산 행렬을 학습함.
• 워샤르슈타인 공간의 기하학적 구조를 활용하여 어휘 임베딩, 시각화, 의미 함의 모델링 등의 후행 작업에 프레임워크를 적용함.

실험 결과

연구 질문

• RQ1 2-워샤르슈타인 공간 내 타원형 분포가 KL 발산 기반의 가우시안 분포보다 더 수치적으로 안정적이고 직관적인 점 임베딩 일반화를 제공할 수 있는가?
• RQ2 타원형 분포 간의 닫힌 형태 2-워샤르슈타인 거리가 다른 발산과 비교해 수치적 행동을 어떻게 향상시키는가?
• RQ3 비대칭 공분산 행렬은 의미 임베딩 작업에서 표현 능력을 얼마나 향상시킬 수 있는가?
• RQ4 워샤르슈타인 타원형 임베딩은 하이퍼니미 등 의미 관계를 효과적으로 모델링할 수 있는가?
• RQ5 시각화 품질과 후행 작업 성능 측면에서 이 임베딩은 점 임베딩보다 어떻게 비교되는가?

주요 결과

• 타원형 분포 간의 제곱 2-워샤르슈타인 거리는 평균 간 유클리드 거리의 제곱과 공분산 간 Bures 거리의 제곱을 조합한 닫힌 형태 표현을 가짐.
• 적절한 인수분해 하에서 공분산 행렬에 대한 Bures 거리는 유클리드 거리로 변환되며, 이는 안정적이고 효율적인 최적화를 가능하게 함.
• Dirac 델타 분포를 비교할 경우 프레임워크는 표준 유클리드 거리로 자연스럽게 축소되며, 점 임베딩과의 후행 호환성을 보장함.
• 이 방법은 전체 비대칭 공분산 행렬을 학습함으로써 대각선 가우시안 가정에 비해 불확실성과 상관관계를 더 풍부하게 모델링할 수 있음.
• 실험 결과로 워샤르슈타인 타원형 임베딩이 어휘 임베딩, 시각화, 의미 함의 관계 포착에서 성능 향상을 보임.
• 특히 비대칭 설정에서 KL 기반 가우시안 임베딩에 비해 수치적 안정성과 기하학적 일관성이 뛰어남.