[논문 리뷰] Understanding Composition of Word Embeddings via Tensor Decomposition.

Abraham Frandsen, Rong Ge|arXiv (Cornell University)|2019. 01. 01.

Tensor decomposition and applications인용 수 4

한 줄 요약

이 논문은 단어 임베딩 조합을 위한 텐서 분해 기반 생성 모델을 제안하며, 단어 삼중조의 PMI 상관관계가 저질서수 텐서를 이룬다는 것을 보여준다. 이 방법은 코어 텐서를 활용하여 어휘 어구의 벡터 조합을 향상시키며, 실험을 통해 모델의 가정과 효과성을 검증한다.

ABSTRACT

Word embedding is a powerful tool in natural language processing. In this paper we consider the problem of word embedding composition \--- given vector representations of two words, compute a vector for the entire phrase. We give a generative model that can capture specific syntactic relations between words. Under our model, we prove that the correlations between three words (measured by their PMI) form a tensor that has an approximate low rank Tucker decomposition. The result of the Tucker decomposition gives the word embeddings as well as a core tensor, which can be used to produce better compositions of the word embeddings. We also complement our theoretical results with experiments that verify our assumptions, and demonstrate the effectiveness of the new composition method.

연구 동기 및 목표

• 구문 관계에 기반한 생성적 접근 방식을 통해 어절 어구의 조합 의미를 모델링하기.
• 단어 삼중조의 점별 상호정보량(PMI)이 근사 저질서수 구조를 갖는 텐서를 이룬다는 것을 보여주기.
• 터커 분해의 코어 텐서를 활용한 개선된 단어 임베딩 조합 방법 개발하기.
• 실세계 데이터에 대한 경험적 실험을 통해 이론적 가정을 검증하기.

제안 방법

• 단어 간 구문 관계를 포착하는 생성적 프레임워크를 사용해 단어 임베딩 조합 모델링하기.
• 세 단어 조합의 PMI를 고차원 상관관계를 포착하기 위해 3차원 텐서로 표현하기.
• PMI 텐서에 터커 분해를 적용하여 저질서수 성분과 코어 텐서 추출하기.
• 코어 텐서를 사용해 개별 단어 임베딩에서 어구의 조합된 벡터 생성하기.
• 저질서수 구조 가정 하에 분해를 최적화하여 의미 조합성 유지하기.
• 어구 조합 작업에 대한 경험적 평가를 통해 모델의 가정과 성능 검증하기.

실험 결과

연구 질문

• RQ1 단어 삼중조 간의 PMI 상관관계는 저질서수 텐서로 모델링될 수 있는가?
• RQ2 PMI 텐서의 터커 분해가 어구 조합에 의미 있는 코어 텐서를 도출하는가?
• RQ3 제안된 방법은 기준 방법 대비 단어 임베딩 조합을 향상시킬 수 있는가?
• RQ4 저질서수 구조에 대한 이론적 가정은 실세계 NLP 데이터에서 경험적으로 타당한가?

주요 결과

• 단어 삼중조의 PMI 텐서는 근사 저질서수 구조를 보이며, 이는 터커 분해의 적용을 지지한다.
• 터커 분해에서 유도된 코어 텐서는 어구 벡터 표현을 향상시키는 조합 패턴을 포착한다.
• 제안된 조합 방법은 어구 내 의미 관계를 포착하는 데 있어 기준 방법을 능가한다.
• 경험적 결과는 실세계 단어 임베딩 데이터에서 저질서수 구조에 대한 이론적 가정이 타당하다는 것을 확인한다.