[논문 리뷰] Analogies Explained: Towards Understanding Word Embeddings

Carl Allen, Timothy M. Hospedales|arXiv (Cornell University)|2019. 01. 28.

Natural Language Processing Techniques인용 수 56

한 줄 요약

이 논문은 단어 임베딩이 선형 유추를 보이는 이유를 설명하는 확률적 프레임워크를 제공하며, PMI-분해 임베딩(W2V와 GloVe)에서 관찰되는 선형 관계에 대한 엄밀한 증명을 제시한다.

ABSTRACT

Word embeddings generated by neural network methods such as word2vec (W2V) are well known to exhibit seemingly linear behaviour, e.g. the embeddings of analogy "woman is to queen as man is to king" approximately describe a parallelogram. This property is particularly intriguing since the embeddings are not trained to achieve it. Several explanations have been proposed, but each introduces assumptions that do not hold in practice. We derive a probabilistically grounded definition of paraphrasing that we re-interpret as word transformation, a mathematical description of "$w_x$ is to $w_y$". From these concepts we prove existence of linear relationships between W2V-type embeddings that underlie the analogical phenomenon, identifying explicit error terms.

연구 동기 및 목표

• 단어 맥락 분포와 연결된 확률적 재생성(paraphrasing) 개념을 동기 부여하고 정의한다.
• PMI가 요인화될 때 재생성이 임베딩 간의 선형 관계로 이어지는 방법을 보인다.
• 임베딩에서의 재생성, 단어 변환, 그리고 유추(analogies) 사이의 형식적 연결을 도출한다.
• PMI 기반 임베딩에서의 선형 유추에 대한 엄밀한 증명과 그것이 W2V 및 GloVe에 나타나는 방식.

제안 방법

• KL 발산을 사용하여 유도된 맥락 분포를 비교함으로써 단어의 재생성(paraphrase)을 정의한다.
• 재생성 관계를 PMI 벡터의 합과 재생성 오차 및 의존성 오차 항의 합으로 표현한다.
• 재생성이 C-dagger 투영을 통해 선형 변환에 의해 임베딩 등식으로 귀결된다는 것을 증명한다.
• 단어 집합으로 확장하고 단일 단어 재생성에서 단어 변환으로 일반화한다.
• 유추가 w_a에서 w_a*로, w_b에서 w_b*로 공유되는 변환 매개변수를 갖는 조건을 도출한다.
• PMI 요인화와 선형 유추 관계를 연결하는 명시적 형식을 제시한다.

실험 결과

연구 질문

• RQ1 단어 임베딩의 합이 어떠한 조건에서 단일 단어 임베딩을 재생성(paraphrase)하는가?
• RQ2 재생성(paraphrase)과 단어 변환이 임베딩에서의 선형 유추 현상을 어떻게 설명하는가?
• RQ3 재생성 오차, 의존성 오차, 그리고 관찰된 유추 벡터 사이의 정확한 수학적 관계는 무엇인가?

주요 결과

• PMI 파생 임베딩의 선형 결합이 다른 임베딩과 일치하는지를 결정하는 확률적 재생성 정의.
• 재생성은 선형 가산 매개변수를 가진 단어 변환으로 해석되어 유추 구조를 설명할 수 있다.
• 유추들 간의 선형 관계에 대한 엄밀한 증명이 있으며 해석 가능한 오차 항이 있다.
• 결과는 PMI 요인화와 W2V 및 GloVe 스타일의 임베딩에 대한 투영 관계를 통해 적용된다.
• 명시적으로, 유추의 임베딩은 w_b* ≈ w_a* − w_a + w_b 로 특징지어지며 재생성(paraphrase) 및 의존성 특성에 의존하는 오차 항이 있다.
• 이 프레임워크는 선형 유추 결과가 언제 정확하고, 오차 상쇄로 인해 거짓 양성(false positives)이 발생할 수 있는지 명확하게 한다.