[논문 리뷰] Context Mover's Distance & Barycenters: Optimal transport of contexts for building representations

Sidak Pal Singh, Andreas Hug외 2명|arXiv (Cornell University)|2018. 08. 29.

Topic Modeling참고 문헌 85인용 수 8

한 줄 요약

이 논문은 최적 운반 이론을 활용하여 의미적 유사성을 모델링하는 새로운 비지도 표현 학습 프레임워크인 컨텍스트 무브어즈 거리(Context Mover's Distance, CMD)를 제안한다. 이 방법은 저차원 공간 내에서 엔티티를 그들의 문맥 공출현에 대한 확률 분포로 모델링하며, 의미적 유사성의 측정에 최적 운반 이론을 활용한다. 이러한 분포 추정치 간의 워셔스타인 거리를 계산하고, 복합 표현을 위해 워셔스타인 바리센터를 사용함으로써, 단어 및 문장의 유사성, 함의관계, 유사성 작업에서 최신 기술 수준의 성능을 달성한다. 이는 Sent2vec와 GenSen보다 상대적으로 4.1% 향상된 성능을 보이며, 성능 향상을 입증한다.

ABSTRACT

We present a framework for building unsupervised representations of entities and their compositions, where each entity is viewed as a probability distribution rather than a vector embedding. In particular, this distribution is supported over the contexts which co-occur with the entity and are embedded in a suitable low-dimensional space. This enables us to consider representation learning from the perspective of Optimal Transport and take advantage of its tools such as Wasserstein distance and barycenters. We elaborate how the method can be applied for obtaining unsupervised representations of text and illustrate the performance (quantitatively as well as qualitatively) on tasks such as measuring sentence similarity, word entailment and similarity, where we empirically observe significant gains (e.g., 4.1% relative improvement over Sent2vec, GenSen). The key benefits of the proposed approach include: (a) capturing uncertainty and polysemy via modeling the entities as distributions, (b) utilizing the underlying geometry of the particular task (with the ground cost), (c) simultaneously providing interpretability with the notion of optimal transport between contexts and (d) easy applicability on top of existing point embedding methods. The code, as well as prebuilt histograms, are available under https://github.com/context-mover/.

연구 동기 및 목표

• 엔티티를 단일 벡터가 아닌, 그들의 문맥에 대한 분포로 모델링하는 새로운 비지도 표현 학습 프레임워크를 개발하는 것.
• 특히 워셔스타인 거리와 바리센터를 활용한 최적 운반 이론을 적용하여 텍스트 내 의미적 불확실성, 다의어성, 복합적 의미 구조를 포괄적으로 포착하는 것.
• 문맥 운반 지도를 활용하여 기하학적 인식 능력을 갖춘, 엔티티 간의 해석 가능한 기하학적 기반의 거리 측정법을 제공하는 것.
• 재학습 없이도 기존의 점 기반 임베딩(예: GloVe, Word2vec)에 직접 적용 가능하게 하여, 하류 NLP 작업에서의 성능 향상에 기여하는 것.

제안 방법

• 각 엔티티를 그 공출현 문맥에 대한 확률 분포(히스토그램)로 표현하며, 문맥은 저차원 공간에 임bedded된다.
• 두 엔티티의 문맥 분포 간 최적 운반 비용으로 컨텍스트 무브어즈 거리(Context Mover’s Distance, CMD)를 계산하며, 이는 문맥 임베딩에 정의된 기저 비용 행렬을 기반으로 한다.
• 워셔스타인 바리센터를 활용하여 엔티티 집합(예: 단어로부터 구성된 문장)의 복합 표현을 계산함으로써, 단어 수준에서 문장 수준의 표현으로의 전이를 가능하게 한다.
• 추가 학습 없이도 효율적인 추론이 가능하도록, 각 엔티티에 대해 사전에 계산된 문맥 공출현 히스토그램을 활용한다.
• 문맥 이동에 대해 작업별로 정의된 기저 메트릭을 통해 비대칭 비용을 지원함으로써, 맞춤형 유사도 측정법을 가능하게 한다.
• 기존의 점 기반 임베딩(GloVe, Word2vec 등)과 원활하게 통합되며, 이들의 문맥 임베딩을 운반의 기저 공간으로 사용한다.

실험 결과

연구 질문

• RQ1 엔티티를 그들의 문맥에 대한 분포로 모델링하는 것이 비지도 표현 학습에서 NLP 작업 성능을 향상시킬 수 있는가?
• RQ2 문맥 분포 간 최적 운반 거리가 점 기반 벡터 유사도에 비해 의미적 유사성과 다의어성을 더 잘 포착할 수 있는가?
• RQ3 워셔스타인 바리센터가 단어 수준의 분포에서 문장 수준의 복합 표현을 효과적으로 생성할 수 있는가?
• RQ4 CMD가 단어 및 문장의 유사성과 함의관계 작업에서 최신 기술 수준의 비지도 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ5 문맥 분포 간 운반 지도가 엔티티 간 의미 관계에 대해 해석 가능한 통찰을 제공할 수 있는가?

주요 결과

• CMD는 단어 및 문장의 유사성 벤치마크에서 Sent2vec와 GenSen보다 상대적으로 4.1% 향상된 성능을 기록한다.
• WBLESS 히퍼니움 탐지 작업에서 최신 기술 수준의 완전히 비지도 방법(Poincaré GloVe)을 초월하여, K=200일 때 75.4%의 정확도를 달성한다.
• HyperLex에서 피어슨 상관계수를 Henderson의 0.316에서 0.338로 향상시켜 인간이 평가한 함의관계 점수와의 일치도가 향상됨을 입증한다.
• HypeNet-Train 데이터셋에서 성능이 크게 향상되어, Henderson 임베딩을 사용한 CMD로 히퍼니움 탐지에서 75.2%의 정확도를 달성한다.
• 정성적 분석 결과, CMD는 '기타'와 '플루트'와 같은 공하위어 쌍이나, '생물'과 '고릴라'와 같은 방향성 관계를 더 잘 처리하며, 기존 방법 대비 거짓 양성(false positive)을 감소시킨다.
• CMD의 운반 지도는 두 엔티티가 유사하거나 비유사한 이유를 해석 가능한 방식으로 드러내며, 거리 계산에 가장 기여하는 문맥을 특정할 수 있다.