[논문 리뷰] Skip-gram word embeddings in hyperbolic space

Matthias Leimeister, Benjamin J. Wilson|arXiv (Cornell University)|2018. 08. 30.

Topic Modeling참고 문헌 28인용 수 24

한 줄 요약

이 논문은 초구형 모델을 사용하여 초구형 공간의 초구형 거리 기반으로 기반한 기울기 기반 목적 함수를 유도한 초구형 스킵그램 모델을 제안한다. 저차원(예: 20D)에서 단어 유사도 및 유추 작업에서 유클리드 모델보다 초구형 임베딩 성능이 뛰어나지만, 고차원에서는 성능 저하가 발생하며, 곡면 공간에서의 유추 작업을 위한 보정된 공식을 제안한다.

ABSTRACT

Recent work has demonstrated that embeddings of tree-like graphs in hyperbolic space surpass their Euclidean counterparts in performance by a large margin. Inspired by these results and scale-free structure in the word co-occurrence graph, we present an algorithm for learning word embeddings in hyperbolic space from free text. An objective function based on the hyperbolic distance is derived and included in the skip-gram negative-sampling architecture of word2vec. The hyperbolic word embeddings are then evaluated on word similarity and analogy benchmarks. The results demonstrate the potential of hyperbolic word embeddings, particularly in low dimensions, though without clear superiority over their Euclidean counterparts. We further discuss subtleties in the formulation of the analogy task in curved spaces.

연구 동기 및 목표

• 단어 공출 그래프의 계층적이고 스케일프리한 구조를 감안할 때 초구형 공간이 자연어 데이터의 단어 임베딩 품질을 향상시킬 수 있는지 조사하기 위해.
• 초구형 모델을 사용하여 초구형 공간에서 스킵그램 단어 임베딩을 위한 미분 가능한 목적 함수를 개발하기 위해.
• 표준 NLP 벤치마크, 예를 들어 단어 유사도 및 유추 작업에서 초구형 임베딩을 평가하기 위해.
• 유클리드적이지 않은, 음의 곡률을 가진 다각형, 예를 들어 초구형 공간과 같은 곡면에서 단어 유추 작업을 일반화하는 과제를 해결하기 위해.
• 분포적 의미론과 계층적 언어 구조 모델링에 대해 초구형 기하학의 잠재력을 탐색하기 위해.

제안 방법

• 논문은 임베딩 다각형으로 초구형 공간의 초구형 모델을 사용하며, 특정 이차형식을 가진 민코프스키 공간 내의 점으로 단어 벡터를 매개변수화한다.
• 맥락 단어와 타겟 단어 간의 초구형 거리 기반 손실 함수를 유도하며, 이는 스킵그램 음성 샘플링 프레임워크에 적합하게 조정된다.
• 기하학적 일관성을 유지하기 위해 탄성 벡터는 로그 매핑과 평행 이동을 통해 얻어진다. 기울기 갱신은 리만 최적화를 사용하여 계산된다.
• 유추 작업은 지지선 경로를 사용하여 재정의된다: A:B = C:D일 때, 모델은 점 C에서 벡터 Log_A(B)를 평행 이동하여 도달하는 점 D를 계산한다.
• 기존의 word2vec과 유사하게 음성 샘플링을 사용한 확률적 기울기 하강법을 사용하여 모델을 훈련시키며, 초구형 기하학 제약 조건이 적용된다.
• 저자들은 단어 유사도 및 Google 유추 데이터셋에서 여러 차원(5, 20, 50, 100)에서 표준 유클리드 스킵그램과 성능을 비교한다.

실험 결과

연구 질문

• RQ1 초구형 단어 임베딩이 표준 NLP 평가 벤치마크에서 유클리드 스킵그램 모델을 능가할 수 있는가?
• RQ2 특히 저차원에서 성능이 어떻게 변화하는가? 특히 저차원에서의 성능 변화는 어떻게 되는가?
• RQ3 지지선 경로의 비가환성 때문에 초구형 공간에서 단어 유추 작업의 올바른 기하학적 공식은 무엇인가?
• RQ4 단어 공출 그래프의 계층적 구조는 초구형 공간의 지수적 부피 증가에 의해 유익을 얻을 수 있는가?
• RQ5 유클리드 대비 초구형 거리 기반 목적 함수의 선택이 학습에 미치는 영향은 무엇인가?

주요 결과

• 차원 20에서 초구형 단어 임베딩은 Google 유추 데이터셋에서 유클리드 스킵그램보다 높은 정확도를 기록한다(0.2251 vs. 0.2089), 이는 저차원에서의 성능 향상을 시사한다.
• 차원 50에서 초구형 임베딩은 유클리드 기준선보다 성능이 열 劣한다(0.3536 vs. 0.3866), 이는 고차원에서의 성능 저하를 시사한다.
• 초구형 공간에서의 유추 작업은 경로에 따라 두 가지 다른 결과를 낳으며, Log_A(B)를 사용한 올바른 공식은 다른 공식(0.0365)보다 훨씬 우수한 결과를 낳는다(0.2251).
• 가장 낮은 차원(5)은 두 모델 모두 성능이 열 劣하며, 정확도가 거의 0에 가까워 저차원 초구형 공간에서의 붕괴 현상을 보여준다.
• 초구형 거리 기반 목적 함수는 초구형 공간에서의 단어 임베딩 학습을 효과적으로 가능하게 하지만, 성능은 차원과 작업 공식에 민감하다.
• 이 연구는 데이터가 계층적 구조를 보일 경우 초구형 기하학이 단어 임베딩에 유익할 수 있음을 확인한다. 특히 저차원 다각형에서 그러한 이점이 두드러진다.