[논문 리뷰] Local Homology of Word Embeddings

Tadas Temčinas|arXiv (Cornell University)|2018. 10. 24.

Topological and Geometric Data Analysis인용 수 3

한 줄 요약

이 논문은 단어 임베딩 데이터를 분석하기 위해 局소 호모로지(based on local homology)를 바탕으로 한 새로운 비지도 군집 알고리즘을 제안하며, 고차원 벡터 공간 내의 구조적 패턴을 탐지하기 위해 위상적 데이터 분석(TDA)을 활용한다. 첫 번째 局소 호모로지 군—특히 'bank'와 같은 동음이의어의 경우—는 다중 단어 의미에 대응하는 위상적 서명을 드러내며, 이는 단어 의미 해석 해제(word sense disambiguation)에 잠재적인 가능성을 시사한다.

ABSTRACT

Topological data analysis (TDA) has been widely used to make progress on a number of problems. However, it seems that TDA application in natural language processing (NLP) is at its infancy. In this paper we try to bridge the gap by arguing why TDA tools are a natural choice when it comes to analysing word embedding data. We describe a parallelisable unsupervised learning algorithm based on local homology of datapoints and show some experimental results on word embedding data. We see that local homology of datapoints in word embedding data contains some information that can potentially be used to solve the word sense disambiguation problem.

연구 동기 및 목표

• 위상적 데이터 분석(TDA)과 자연어 처리(NLP) 사이의 격차를 메우기 위해 TDA를 단어 임베딩 데이터에 적용한다.
• 국소 호모로지가 단어 의미 해석 해제(WSD)에 관련된 단어 임베딩 내의 구조적 정보를 포착하는지 조사한다.
• 단어 벡터를 기반으로 한 병렬 처리가 가능한 비지도 군집 알고리즘을 개발하고 구현한다.
• 알고리즘이 사전 학습된 단어 임베딩 내에서 동음이의어의 위상적 서명을 탐지하는 데 얼마나 효과적인지 평가한다.

제안 방법

• 알고리즘은 사전 학습된 단어 임베딩에 대한 베이티로스-립스 복합체(Vietoris-Rips complex) 구조를 사용하여 단어 벡터의 국소 호모로지 군을 계산한다.
• 각 단어 벡터 σ에 대해 국소 호모로지의 정의는 스타(st(σ))와 그 경계(∂st(σ))의 상대 호모로지로 이루어지며, Hσ• = H•(st(σ), ∂st(σ))로 표현된다.
• 국소 베티 수를 계산하기 위해 정수 계수를 사용하는 단순체 호모로지(simplicial homology)를 적용하며, 특히 첫 번째 및 두 번째 국소 베티 수에 초점을 맞춘다.
• 군집화는 동일한 국소 호모로지 군을 가진 단어 벡터를 그룹화함으로써 수행되며, 공통된 위상적 구조가 의미적 유사성을 나타낸다고 가정한다.
• 이 방법은 두 개의 데이터셋—다른 코퍼스에서 학습된 스킵-그램과 CBOW 단어 임베딩—에 적용된다.
• 알고리즘은 구현되어 공개되었으며, 다양한 ϵ 값에서 분석을 수행하여 위상적 지속성(persistence)을 탐색한다.

실험 결과

연구 질문

• RQ1 국소 호모로지가 동음이의어(예: 'bank')와 같은 단어 의미 모호성의 위상적 서명을 탐지할 수 있는가?
• RQ2 단어 벡터의 첫 번째 국소 호모로지 군이 서로 다른 의미에 대응하는 고유한 의미적 맥락을 반영하는가?
• RQ3 국소 호모로지 군은 임베딩 공간 내의 노이즈와 변형에 얼마나 안정적인가?
• RQ4 지속적 국소 호모로지(persistent local homology)는 표준 국소 호모로지에 비해 안정성과 군집 품질을 향상시키는가?
• RQ5 두 번째 국소 호모로지 군은 단어 벡터 주변의 '유사성 고리'를 포착하는 데 어떤 역할을 하는가?

주요 결과

• 두 데이터셋 모두에서 'bank'의 첫 번째 국소 호모로지 군은 비자명한 구조를 보이며, 다중 의미에 대한 위상적 증거를 시사한다.
• 스킵-그램 데이터셋에서 'bank'의 첫 번째 국소 베티 수는 2로 나타나, 강가와 금융기관에 해당하는 두 개의 별개의 위상적 구성 요소가 있음을 시사한다.
• 스킵-그램 데이터셋의 두 번째 국소 호모로지 군은 'savings', 'deposit', 'fund', 'institution'을 포함하는 사이클을 드러내어 의미적 유사성의 고리를 나타낸다.
• CBOW 데이터셋에서 'corporation'의 두 번째 국소 베티 수는 2였지만, 이 사이클을 생성하는 요소들은 스킵-그램 모델과는 다소 다름을 보였다.
• 엄격한 국소 호모로지 군의 동형 조건으로 인해 알고리즘이 거의 자명한 군집을 생성하여 노이즈와 데이터 구조에 민감함을 보였다.
• 지속적 국소 호모로지가 더 안정적인 대안으로 제안되어 안정성과 군집 성능 향상을 도모할 수 있다.