[논문 리뷰] Word Embeddings via Tensor Factorization

Eric Bailey, Shuchin Aeron|arXiv (Cornell University)|2017. 04. 10.

Tensor decomposition and applications참고 문헌 34인용 수 4

한 줄 요약

이 논문은 3방향 점별 상호정보량(PPMI) 텐서의 대칭 텐서 분해를 기반으로 하여 고차원 공현 패턴을 포착하는 두 가지 새로운 단어 임베딩 방법, CP-S와 JCP-S를 제안한다. 이 방법은 단어 벡터의 곱셈적 조합 가능성을 가능하게 하여, 다의어 단어의 서로 다른 의미에 대해 고유한 벡터 표현을 제공하며, 의미적 과제와 새로운 3차 평가 지표(OD3)에서 행렬 기반 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Most popular word embedding techniques involve implicit or explicit factorization of a word co-occurrence based matrix into low rank factors. In this paper, we aim to generalize this trend by using numerical methods to factor higher-order word co-occurrence based arrays, or extit{tensors}. We present four word embeddings using tensor factorization and analyze their advantages and disadvantages. One of our main contributions is a novel joint symmetric tensor factorization technique related to the idea of coupled tensor factorization. We show that embeddings based on tensor factorization can be used to discern the various meanings of polysemous words without being explicitly trained to do so, and motivate the intuition behind why this works in a way that doesn't with existing methods. We also modify an existing word embedding evaluation metric known as Outlier Detection [Camacho-Collados and Navigli, 2016] to evaluate the quality of the order-$N$ relations that a word embedding captures, and show that tensor-based methods outperform existing matrix-based methods at this task. Experimentally, we show that all of our word embeddings either outperform or are competitive with state-of-the-art baselines commonly used today on a variety of recent datasets. Suggested applications of tensor factorization-based word embeddings are given, and all source code and pre-trained vectors are publicly available online.

연구 동기 및 목표

• 쌍방향 관계를 초월한 고차원 공현 정보를 활용하는 단어 임베딩 기법을 개발하기 위해.
• 행렬 기반 방법이 둘 이상의 공현 관계만 모델링할 수 있다는 한계를 보완하기 위해, 3차 텐서를 사용하여 제3차 공현 관계를 모델링하기 위해.
• 제2차 및 제3차 공현 데이터를 동시에 통합하는 공동 대칭 텐서 분해 프레임워크를 설계하기 위해.
• 새로운 제3차 정보 평가 지표를 사용하여, 복잡한 의미 관계, 특히 다의어성의 포착 능력을 평가하기 위해.
• 단어 벡터의 곱셈적 조합이 서로 다른 단어 의미에 대해 의미 있는 표현을 생성할 수 있음을 입증하기 위해.

제안 방법

• 논문은 코퍼스에서 유도된 대칭적이고 비음수인 3차원 PPMI 텐서를 구성하며, 각 항목 m_ijk는 세 단어가 문맥 창 내에서 동시에 나타나는 상호정보량을 나타낸다.
• 데이터의 대칭적 구조를 유지하면서, 저랭크 단어 임베딩을 학습하기 위해 대칭 캐논리컬 폴리아드(CP) 분해를 적용한다.
• 제2차 및 제3차 공현 데이터를 동시에 모델링하기 위해, 여러 개의 초대칭 텐서를 공유된 요인 행렬을 사용해 분해하는 새로운 공동 대칭 텐서 분해 문제를 도입한다.
• 대칭적이고 비음수 텐서에 특화된 교대 최소 제곱 알고리즘을 사용하여 임베딩을 학습한다.
• 이 방법은 단어 벡터의 곱셈적 조합을 가능하게 하며, v_i * v_j는 삼항적 문맥에서 동시에 i와 j와 공현하는 단어의 벡터 표현을 근사한다.
• 제3차 의미 관계를 캡처한 단어 임베딩의 품질을 측정하기 위해 새로운 평가 지표인 OD3(Outlier Detection 3)를 제안한다.

실험 결과

연구 질문

• RQ1 3차 공현 데이터의 텐서 분해가 의미적 NLP 과제에서 기존의 행렬 기반 방법보다 뛰어난 성능을 내는가?
• RQ2 제2차 및 제3차 공현 텐서를 공동으로 분해함으로써, 쌍방향 데이터만을 사용하는 경우보다 임베딩 품질이 향상되는가?
• RQ3 단어 벡터의 곱셈적 조합이 다의어 단어의 서로 다른 의미에 대해 고유하고 의미 있는 표현을 생성할 수 있는가?
• RQ4 텐서 기반 임베딩이 기존의 행렬 기반 모델에 비해 얼마나 더 높은 차원의 의미 관계를 포착하는가?
• RQ5 OD3와 같은 새로운 평가 지표를 사용할 경우, 제3차 공현 패턴을 포착하는 데에 측정 가능한 이점이 존재하는가?

주요 결과

• 제안된 CP-S 및 JCP-S 임베딩은 동일한 데이터로 학습되었을 때, CBOW 및 GloVe와 같은 최신 기술의 기존 행렬 기반 방법보다 여러 의미적 NLP 과제에서 뚜렷한 성능 향상을 보였다.
• 공동 대칭 텐서 분해(JCP-S) 방법은 제2차 및 제3차 공현 정보를 효과적으로 통합하여 성능 향상을 이끌어냈다.
• 새로운 OD3 지표는 텐서 기반 임베딩이 기존의 행렬 기반 모델보다 훨씬 더 많은 제3차 의미 정보를 포착하고 있음을 입증했다.
• CP-S 및 JCP-S에서 단어 벡터의 곱셈적 조합은 다의어 단어의 서로 다른 의미에 대해 의미 있는 표현을 생성한다. 예를 들어, 'star'는 천체이면서도 연기자라는 의미를 동시에 지닌다.
• 'star'의 경우, v_star * v_actor는 '드라마' 또는 '수상한'과 가장 가까운 벡터를 생성하여 '연기자'라는 의미를 반영하고, v_star * v_planet는 '행 星' 또는 '은하계'와 유사한 표현을 만들어 '천체'라는 의미를 반영한다.
• 반면, CBOW 임베딩은 유의미한 결과를 도출하기 위해 덧셈적 조합을 사용할 뿐만 아니라, 다의어성을 곱셈적 조합을 통해 모델링할 수 있다는 점에서 텐서 기반 임베딩의 독특한 장점을 드러낸다.