[논문 리뷰] Topology of Word Embeddings: Singularities Reflect Polysemy

Alexander Jakubowski, Milica Gašić외 1명|arXiv (Cornell University)|2020. 11. 18.

Topological and Geometric Data Analysis참고 문헌 29인용 수 5

한 줄 요약

이 논문은 단어 임베딩이 매끄러운 다양체가 아니라, 다의어 단어가 위상적 특이점을 만드는 '압축된 다양체' 위에 존재한다고 제안한다. 지속 호몰로지( persistent homology )를 사용해 위상적 다의어성(TPS)을 정량화한 결과, 단어의 의미 수와 강한 상관관계를 보이며, 단순한 위상 기반 클러스터링 방법을 통해 SemEval-2010 단어 의미 유도 과제에서 경쟁력 있는 성능을 달성한다.

ABSTRACT

The manifold hypothesis suggests that word vectors live on a submanifold within their ambient vector space. We argue that we should, more accurately, expect them to live on a pinched manifold: a singular quotient of a manifold obtained by identifying some of its points. The identified, singular points correspond to polysemous words, i.e. words with multiple meanings. Our point of view suggests that monosemous and polysemous words can be distinguished based on the topology of their neighbourhoods. We present two kinds of empirical evidence to support this point of view: (1) We introduce a topological measure of polysemy based on persistent homology that correlates well with the actual number of meanings of a word. (2) We propose a simple, topologically motivated solution to the SemEval-2010 task on Word Sense Induction & Disambiguation that produces competitive results.

연구 동기 및 목표

• 다의어성으로 인해 발생하는 위상적 특이점으로 인해 표준 다양체 가설이 부적절하다는 점을 도전하기 위해.
• 실제 단어 의미 수와 상관관계가 있는 지속 호몰로지 기반의 다의어성 측정법(TPS)을 개발하기 위해.
• SemEval-2010에서 경쟁적인 성능을 내는 단순한 위상 기반의 단어 의미 유도 및 해석 방법을 설계하기 위해.
• 단어 벡터 공간 내 위상적 구조가 의미의 다의어성을 반영하며, 단어 임베딩 분석과 향상에 새로운 시각을 제공한다는 점을 입증하기 위해.

제안 방법

• 다의어 단어가 식별된 (특이점)으로 대응되는 압축된 다양체로 단어 임베딩 공간을 모델링하기 위해.
• 각 단어 벡터 주변의 국소적 이웃의 0차원 호몰로지 기반으로 위상적 다의어성 점수(TPS)를 계산하기 위해 지속 호몰로지( persistent homology )를 사용하기 위해.
• 지속 다이어그램에 워샤프스키 거리(norm)를 적용해 위상 복잡도를 정량화하고, 국소적 왜곡의 척도로 TPS를 유도하기 위해.
• TPS를 활용해 이웃 크기 선택을 안내하는 단순한 클러스터링 기반의 단어 의미 유도 방법(OPN)을 제안하기 위해.
• k-means와 DBSCAN을 사용해 클러스터링을 수행하며, 이웃 크기 $ n $ 과 클러스터 수 $ k $ 는 TPS에 의해 결정되어 해석 정확도 향상에 기여하기 위해.
• 소규모 코퍼스에서 단어 벡터를 학습하고, 외부 코퍼스 데이터에 의존하지 않고 SemEval-2010 과제에서 TPS와 클러스터링 성능을 평가하기 위해.

실험 결과

연구 질문

• RQ1 단어 임베딩 공간의 위상적 구조가 특이점으로 나타나는 다의어성을 반영하는가?
• RQ2 지속 호몰로지가 실제 단어 의미 수와 상관관계가 있는 신뢰할 수 있는 데이터 기반의 다의어성 측정법을 제공할 수 있는가?
• RQ3 간단한 위상 기반 클러스터링 방법이 복잡한 최첨단 모델을 능가하거나 그에 맞먹는 성능을 내는가?
• RQ4 위상 정보를 통합할 경우, 단어 의미 해석 과제에서 클러스터링 성능이 어느 정도 향상되는가?

주요 결과

• 지속 호몰로지 기반의 위상적 다의어성 점수(TPS)는 SemEval-2010 데이터셋의 기준 단어 의미 수와 강한 상관관계를 보였다.
• DBSCAN과 $ n=5000 $ 이웃 크기를 사용한 제안된 OPN 방법은 여러 복잡한 베이스라인을 능가하며, V-측도와 F-스코어의 곱이 0.0735에 도달했다.
• OPN이 $ n=5000 $ 이웃 크기와 DBSCAN을 사용할 경우, V-측도 0.175와 F-스코어 0.420를 기록하여 SemEval-2010 도전 대회에서 상위 성능을 내는 데 기여했다.
• 이웃 크기를 TPS에 의해 안내할 경우, 클러스터링 방법의 성능이 크게 향상되었으며, 큰 크기의 임의의 이웃 크기 설정이 필요로 하는 것을 줄였다.
• 기본 학습 코퍼스에 접근하지 못하는 조건에서도, 단어 벡터 기하학과 위상학적 정보에만 기반해 경쟁적인 성능을 달성했다.
• 연구는 다의어성에 의해 유도된 특이점으로 인해 단어 임베딩 공간이 매끄러운 다양체보다는 압축된 다양체로 더 잘 모델링된다는 경험적 증거를 제공한다.