[논문 리뷰] Learning Embeddings into Entropic Wasserstein Spaces

Charlie Frogner, Farzaneh Mirzazadeh외 1명|arXiv (Cornell University)|2019. 05. 08.

Generative Adversarial Networks and Image Synthesis인용 수 9

한 줄 요약

이 논문은 효율적인 최적화를 위해 Sinkhorn 발산을 사용하여 엔트로픽 워샤르스테인 공간에서 데이터 임베딩을 이산 확률 분포로 학습하는 방법을 제안한다. 워샤르스테인 거리의 유연성을 활용함으로써, 복잡한 구조에 대해 뛰어난 임베딩 충실도를 달성하고, 차원 축소 없이도 고차원 임베딩을 직접 시각화할 수 있다. 이는 타원형 및 쌍곡형 기반 방법보다 표현 능력과 해석 가능성 면에서 뛰어나다.

ABSTRACT

Euclidean embeddings of data are fundamentally limited in their ability to capture latent semantic structures, which need not conform to Euclidean spatial assumptions. Here we consider an alternative, which embeds data as discrete probability distributions in a Wasserstein space, endowed with an optimal transport metric. Wasserstein spaces are much larger and more flexible than Euclidean spaces, in that they can successfully embed a wider variety of metric structures. We exploit this flexibility by learning an embedding that captures semantic information in the Wasserstein distance between embedded distributions. We examine empirically the representational capacity of our learned Wasserstein embeddings, showing that they can embed a wide variety of metric structures with smaller distortion than an equivalent Euclidean embedding. We also investigate an application to word embedding, demonstrating a unique advantage of Wasserstein embeddings: We can visualize the high-dimensional embedding directly, since it is a probability distribution on a low-dimensional space. This obviates the need for dimensionality reduction techniques like t-SNE for visualization.

연구 동기 및 목표

• 데이터의 복잡한 비유클리드적 의미적 구조를 포착하는 데에 유의미한 제약이 있는 유클리드 임베딩의 한계를 해결하기 위해.
• 다양한 거리 구조를 유지하는 임베딩을 학습하기 위해 워샤르스테인 공간의 표현 능력을 탐색하기 위해.
• 고차원 임베딩을 저차원 기저 공간 내 점 클러스터로 표현함으로써 직접적인 시각화를 가능하게 하기 위해.
• Sinkhorn 정규화된 워샤르스테인 거리가 단어 임베딩과 같은 후행 작업을 위한 기반 기반 학습에 효과적으로 기여하는지 보여주기 위해.
• 다중모달 분포의 시각적 점검을 통해 임베딩의 디버깅 도구를 제공하기 위해.

제안 방법

• 입력 데이터를 고정된 수의 점으로 구성된 저차원 기저 공간 상의 이산 확률 분포로 매핑한다.
• 최적 운반 문제의 엔트로픽 정규화를 활용해 Sinkhorn 발산을 계산함으로써, 자동 미분를 통한 효율적 기울기 계산을 가능하게 한다.
• 임베딩 분포와 목표 거리 구조 간의 Sinkhorn 발산을 최소화함으로써 모델을 종합적으로 학습시킨다.
• 분포의 지지점(지원점)을 고정하고 질량 점의 가중치와 위치를 최적화하여 임베딩을 학습한다.
• 차원 축소 기법(예: t-SNE) 없이도 기저 공간 내 점 클러스터로 학습된 임베딩을 직접 시각화한다.
• 프레임워크를 단어 임베딩에 적용하고, 밀도 시각화 및 군집 분석을 통한 검색 성능과 해석 가능성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 엔트로픽 정규화를 적용한 워샤르스테인 임베딩이 유클리드 또는 쌍곡형 임베딩보다 더 충실하게 복잡한 거리 구조를 포착할 수 있는가?
• RQ2 기저 공간 내 점 클러스터 표현 방식을 통한 워샤르스테인 임베딩의 직접적 시각화가 차원 축소된 시각화에 비해 더 나은 해석 가능성과 디버깅 능력을 제공하는가?
• RQ3 워샤르스테인 공간에서 학습된 단어 임베딩의 다중모달성은 다의어성과 의미 관계를 어떻게 반영하는가?
• RQ4 Sinkhorn 발산이 워샤르스테인 공간 내 임베딩의 종합적 학습을 위한 타당하고 효과적인 목적 함수로 기능하는가?
• RQ5 정치, 군사, 스포츠 용어와 같은 다양한 의미 집합 간의 분리 및 겹침을 시각화하고 분석하는 데에 임베딩 공간을 활용할 수 있는가?

주요 결과

• 측정 보존에서의 왜곡이 낮아, 워샤르스테인 임베딩이 유클리드 및 쌍곡형 임베딩에 비해 복잡한 네트워크 구조를 더 높은 충실도로 표현함을 입증함.
• Sinkhorn 발산을 통한 학습된 단어 임베딩이 word2vec 및 GloVe와 같은 최첨단 기법과 유사한 검색 성능을 달성함.
• 기저 공간 내 점 클러스터로 직접 시각화한 결과, 명확한 군집화 및 다중모달 구조가 드러나 t-SNE나 유사 기법 없이도 직관적인 이해가 가능함.
• 단어 임베딩의 다중모달성 덕분에 한 단어가 동시에 여러 의미 그룹과 부분적으로 겹칠 수 있으며, 이는 다의어성을 효과적으로 포착함.
• 임베딩의 커널 밀도 추정 결과, 정치어 및 스포츠어와 같은 다양한 의미 집합에 대해 분명하고 잘 분리된 모드가 존재함.
• 시각화를 통해 모델 오류를暴露할 수 있었으며, 예를 들어 'nice'를 프랑스의 도시로 잘못 분류한 사례를 통해 직접 점검이 디버깅에 유용함을 입증함.