[논문 리뷰] What the Vec? Towards Probabilistically Grounded Embeddings

Carl Allen, Ivana Balažević외 1명|arXiv (Cornell University)|2018. 05. 30.

Topic Modeling참고 문헌 34인용 수 7

한 줄 요약

이 논문은 Word2Vec과 GloVe 임베딩에 대한 확률적 기반을 수립하며, 이를 Pointwise Mutual Information (PMI) 벡터와 연결함으로써, 유사성, 동의어, 유추와 같은 의미 관계가 저차원 투영 하에서 이러한 고차원 PMI 벡터의 선형 상호작용으로부터 유도됨을 보여준다. 주요 기여는 W2V와 GloVe 임베딩이 작동하는 이유를 이론적으로 설명하는 프레임워크를 제공하며, 의미 관계 간의 계층적 구조를 드러내고, W와 C 행렬의 평균을 사용하는 일반적인 관행을 정당화한다.

ABSTRACT

Word2Vec (W2V) and GloVe are popular, fast and efficient word embedding algorithms. Their embeddings are widely used and perform well on a variety of natural language processing tasks. Moreover, W2V has recently been adopted in the field of graph embedding, where it underpins several leading algorithms. However, despite their ubiquity and relatively simple model architecture, a theoretical understanding of what the embedding parameters of W2V and GloVe learn and why that is useful in downstream tasks has been lacking. We show that different interactions between PMI vectors reflect semantic word relationships, such as similarity and paraphrasing, that are encoded in low dimensional word embeddings under a suitable projection, theoretically explaining why embeddings of W2V and GloVe work. As a consequence, we also reveal an interesting mathematical interconnection between the considered semantic relationships themselves.

연구 동기 및 목표

• W2V와 GloVe 임베딩이 무엇을 학습하는지에 대한 이론적 이해를 제공하고, 왜 이들이 다운스트림 NLP 작업에서 효과적인지 설명하는 것.
• 유사성, 동의어, 유추와 같은 어휘 임베딩의 의미적 성질을 PMI 벡터 상호작용의 관점에서 설명하는 것.
• W와 C 임베딩 행렬 간의 수학적 관계를 유도하여, 그들이 비록 손실 함수가 대칭이지만 서로 동일하지 않은 이유를 정당화하는 것.
• 기본 상관계수 측정치로 삼는 관련성에서 시작하여 의미 관계 간의 계층적 상호연결성을 드러내는 것.

제안 방법

• 저자들은 W2Vec과 GloVe의 손실 함수를 분석하여, 그것이 암묵적으로 이동된 PMI 행렬 S = W^T C 를 인수분해하고 있음을 보여준다.
• 의미 관계가 특정 선형 조합의 PMI 벡터에 해당하며, 이들이 저차원 공간으로의 선형 투영 하에서도 유지됨을 보여준다.
• 이론적 유도를 통해 W와 C 행렬은 서로 다를 수밖에 없으며, 유도된 관계 W^T C = S 가 그 이질적인 역할을 설명하고, 실무에서 그 평균을 사용하는 것을 정당화한다.
• 프레임워크는 코사인 유사도와 같은 일반적인 연산을 PMI 벡터 간의 관련성 측정치로 해석하며, 유추를 공동 발생을 포함하는 고차원 상호작용으로 설명한다.
• 저자들은 text8 코퍼스를 대상으로 실증 평가를 수행하여 이론적 주장의 타당성을 검증하며, W와 C에 대한 다양한 제약 조건을 가진 모델을 비교한다.
• 저자들은 높은 차수의 관계(예: 유추)에서의 오차 항을 PMI 벡터가 위치한 초곡면 S 에서의 이탈로 기하학적으로 해석한다.

실험 결과

연구 질문

• RQ1 W2Vec과 GloVe 임베딩은 Pointwise Mutual Information (PMI) 벡터와 어떻게 관련되어 있으며, 왜 의미 관계를 포착하는가?
• RQ2 W2Vec과 GloVe 임베딩이 어휘 유추 해결 및 유사도 검출을 위한 코사인 유사도와 같은 성질을 보이는 이유는 무엇인가?
• RQ3 두 임베딩 행렬 W와 C 간의 수학적 관계는 무엇이며, 훈련 과정이 대칭임에도 불구하고 왜 이들이 동일하지 않은가?
• RQ4 유사성, 동의어, 유추와 같은 의미 관계들이 PMI 기반 상호작용을 통해 어떻게 계층적으로 연결되어 있는가?
• RQ5 높은 차수의 의미 관계(예: 유추)에서 오류가 발생하는 원인는 무엇이며, 기하학적으로 어떻게 해석할 수 있는가?

주요 결과

• W2Vec의 손실 함수는 이동된 PMI 행렬을 암묵적으로 최소화하며, W2Vec 임베딩과 PMI 벡터 사이에 직접적인 연결 고리를 확립한다.
• 유사성과 동의어와 같은 의미 관계는 PMI 벡터의 선형 조합에서 유도되며, 저차원 투영 하에서도 유지된다.
• 행렬 W와 C는 동일하지 않으며, 유도된 관계 W^T C = S 가 그 이질적인 역할을 설명하고 실무에서 그 평균을 사용하는 것을 정당화한다.
• 어휘 임베딩 간의 코사인 유사도는 PMI로 측정된 관련성과 대응하며, 이는 널리 사용되는 히우리스틱의 의미적 해석을 제공한다.
• 계층적 구조가 드러나며, 관련성은 기본적인 이원 측정치(즉, PMI)이며, 유사성은 모든 단어에 대한 전반적 관련성에 의존하고, 동의어는 단어 집합과의 공동 발생에 의존하고, 유추는 단어 쌍의 공동 발생에 의존한다.
• 유추 작업에서의 오류는 단어 간 통계적 종속성에서 기인하며, PMI 벡터가 위치한 초곡면 S 에서의 이탈로 기하학적으로 해석할 수 있다.