[논문 리뷰] Poincaré GloVe: Hyperbolic Word Embeddings

Alexandru Ţifrea, Gary Bécigneul외 1명|arXiv (Cornell University)|2018. 10. 15.

Topic Modeling참고 문헌 9인용 수 94

한 줄 요약

저자들은 하이퍼볼릭 공간의笈 카르테시안 곱에 단어를 매핑하고 Gaussian Fisher 기하학과 연결하며 Glove를 비지도 하이퍼볼릭 단어 임베딩 학습에 맞게 adapt하여 유사도, 비유, 그리고 상위어 분석 성능을 향상시킨다.

ABSTRACT

Words are not created equal. In fact, they form an aristocratic graph with a latent hierarchical structure that the next generation of unsupervised learned word embeddings should reveal. In this paper, justified by the notion of delta-hyperbolicity or tree-likeliness of a space, we propose to embed words in a Cartesian product of hyperbolic spaces which we theoretically connect to the Gaussian word embeddings and their Fisher geometry. This connection allows us to introduce a novel principled hypernymy score for word embeddings. Moreover, we adapt the well-known Glove algorithm to learn unsupervised word embeddings in this type of Riemannian manifolds. We further explain how to solve the analogy task using the Riemannian parallel transport that generalizes vector arithmetics to this new type of geometry. Empirically, based on extensive experiments, we prove that our embeddings, trained unsupervised, are the first to simultaneously outperform strong and popular baselines on the tasks of similarity, analogy and hypernymy detection. In particular, for word hypernymy, we obtain new state-of-the-art on fully unsupervised WBLESS classification accuracy.

연구 동기 및 목표

• 비지도 임베딩에서 계층적이고 비대칭적인 단어 관계를 드러낼 필요성을 동기부여한다.
• 트리와 같은 구조를 반영하기 위해 하이퍼볼릭 공간의 카르테시안 곱에 단어를 임베딩하는 것을 제안한다.
• 하이퍼볼릭 임베딩과 가우시안 피셔 기하학 사이의 연결을 확립하여 원리 있는 상위어 점수를 도출한다.
• 리만 기하학적 평행수송을 통해 유추를 가능하게 하도록 Glove 학습 프레임워크를 하이퍼볼릭 다양체에 적용한다.

제안 방법

• 단어를 하이퍼볼릭 공간의 곱(포인카레 볼 및 관련 모델)에 임베딩하고 손실에 미분가능한 거리 d를 사용한다.
• 유클리드 Glove 손실을 J = sum_{i,j} f(X_{ij})(-h(d(w_i, ϑt_j)) + b_i + ϑt_j - log X_{ij})^2 로 대체하되, h는 선택된 함수(예: h(x)=x^2 또는 h(x)=cosh^2(x))이다.
• 가우시안의 피셔 기하학을 이용해 하이퍼볼릭 임베딩을 대각 가우시안 임베딩으로 매핑하여 원리적으로 해석 가능한 상위어 점수를 가능하게 한다.
• 리만 기하학적 최적화(Radagrad)를 활용하고 병렬이송(parallel transport)을 이용해 하이퍼볼릭 공간에서 유추를 계산한다.
• 상위어 점수를 도출하기 전에 일반 단어 집합과 특정 단어 집합을 정합시키기 위해 등거리사변(isometry)을 적용한다.
• 전체 어휘 결과를 향상시키기 위해 제한된 어휘에서 사전학습(pretraining)하는 초기화 트릭을 활용한다.

실험 결과

연구 질문

• RQ1 비유클리드 기하학이 비지도 환경에서 단어의 잠재적 계층 구조를 유클리드 공간보다 더 잘 포착하는가?
• RQ2 하이퍼볼릭 Glove 임베딩이 단어 유사도, 비유, 상위어 벤치마크에서 동시에 성능을 향상시키는가?
• RQ3 하이퍼볼릭 임베딩과 가우시안 피셔 기하학의 연결을 사용해 원리 있는 내부 상위어 점수를 정의할 수 있는가?
• RQ4 모델 차원수와 초기화가 비지도 하이퍼볼릭 단어 임베딩에 어떤 영향을 미치는가?

주요 결과

• 100D 및 50x2D 하이퍼볼릭 모델이 일반적으로 유사도 과제에서 유클리드 Glove 기준점을 능가한다.
• h(x)=x^2인 50x2D 모델이 상위어에 대해 비지도 WBLESS 정확도에서 최첨단을 달성하고 Weak supervision 하에 HyperLex에서도 경쟁력 있는 결과를 보인다.
• 100D 하이퍼볼릭 임베딩은 종종 유사도 및 비유 벤치마크에서 최상의 전반적 성능을 보인다.
• 하이퍼볼릭 임베딩과 가우시안 임베딩 간의 피셔 거리 매핑으로 원리적인 상위어 점수를 해석 가능하게 하는 연결이 존재한다.
• 작은 어휘에서의 초기화(전처리)가 모든 과제에서 성능을 향상시킨다.