[논문 리뷰] On the Linear Algebraic Structure of Distributed Word Representations

Lisa Seung-Yeon Lee|arXiv (Cornell University)|2015. 11. 22.

Topic Modeling참고 문헌 29인용 수 3

한 줄 요약

이 논문은 단어 임베딩의 저랭크 선형 대수적 구조—특히 카테고리 또는 관계에 속하는 단어들이 형성하는 부분공간—를 SVD를 통해 활용하여, 최소한의 공출현 데이터로 새로운 사실을 발견하고 희귀어의 벡터를 학습하는 방법을 제안한다. 이 방법은 데이터 요구량을 크게 줄이며 부분공간 투영과 외부 필터링을 통해 낮은 거짓 양성률을 달성함으로써 정확한 사실 발견과 벡터 학습이 가능하다는 것을 보여준다.

ABSTRACT

In this work, we leverage the linear algebraic structure of distributed word representations to automatically extend knowledge bases and allow a machine to learn new facts about the world. Our goal is to extract structured facts from corpora in a simpler manner, without applying classifiers or patterns, and using only the co-occurrence statistics of words. We demonstrate that the linear algebraic structure of word embeddings can be used to reduce data requirements for methods of learning facts. In particular, we demonstrate that words belonging to a common category, or pairs of words satisfying a certain relation, form a low-rank subspace in the projected space. We compute a basis for this low-rank subspace using singular value decomposition (SVD), then use this basis to discover new facts and to fit vectors for less frequent words which we do not yet have vectors for.

연구 동기 및 목표

• 분류기나 패턴 매칭을 사용하지 않고 단어 임베딩에서 새로운 사실 지식을 발견하기 위해.
• 카테고리와 관계의 저랭크 구조를 활용하여 단어 벡터 학습을 위한 데이터 요구량을 줄이기 위해.
• 공출현 통계와 부분공간 투영만을 사용하여 희귀어나 미리보지 않은 단어의 벡터 학습을 가능하게 하기 위해.
• WordNet과 같은 외부 지식 소스를 활용해 부분공간 투영 기반의 사실 발견에서 거짓 양성을 줄임으로써 정확도를 향상시키기 위해.
• 학습된 부분공간의 기저 벡터가 언어학적 규칙성에 어떻게 해석 가능한지 조사하기 위해.

제안 방법

• 단어 공출현 행렬에 대해 특이값 분해(SVD)를 적용하여 카테고리와 관계에 대한 저랭크 부분공간을 계산한다.
• 결과로 얻은 기저 벡터를 사용해 단어 벡터를 투영하고 재구성함으로써, 희귀어나 미리보지 않은 단어의 벡터 학습을 가능하게 한다.
• 학습된 부분공간과의 거리 최소화를 목표로 하되, 의미 일관성을 유지하는 벡터 최적화 목적함수를 적용한다.
• 외부 지식(예: WordNet) 기반의 품사(POS) 및 어휘(LEX) 필터를 적용하여 사실 발견에서의 거짓 양성을 줄인다.
• 학습된 부분공간에 투영하여 주어진 관계를 만족하는 새로운 단어 쌍을 생성하기 위해 EXTEND_RELATION 알고리즘을 적용한다.
• 첫 번째 기저 벡터는 일반적인 카테고리 수준의 의미를 캡처하고, 이후의 벡터들은 더 구체적인 특성(예: 단어나 단어 쌍의 특성)을 인코딩한다.

실험 결과

연구 질문

• RQ1 라벨이 없는 데이터나 복잡한 모델 없이도 단어 임베딩의 저랭크 부분공간 구조를 활용해 새로운 단어 간 사실 관계를 발견할 수 있는가?
• RQ2 특히 희귀어의 경우에 SVD 기반 부분공간 학습이 단어 벡터 학습을 위한 데이터 요구량을 어느 정도 줄일 수 있는가?
• RQ3 학습된 부분공간의 개별 기저 벡터는 해석 가능한 언어학적 특성(예: 국가 발전 수준, 지리적 지역 등)과 어떻게 대응하는가?
• RQ4 WordNet과 같은 외부 지식 소스는 부분공간 투영 기반의 사실 발견 알고리즘의 정밀도를 향상시킬 수 있는가?
• RQ5 희귀어에 대해 기존의 GloVe나 skip-gram과 같은 표준 방법과 비교했을 때, 부분공간 기반의 벡터 학습 방법은 어떤 성능을 보이는가?

주요 결과

• 학습된 부분공간의 첫 번째 기저 벡터는 카테고리나 관계에 대한 일반적인 의미 정보를 캡처하고, 이후의 벡터들은 개별 단어나 단어 쌍의 더 구체적인 특성을 인코딩한다.
• EXTEND_RELATION 알고리즘은 어휘 내 모든 가능한 쌍에 적용되어도 낮은 거짓 양성률로 관계를 만족하는 새로운 단어 쌍을 성공적으로 발견한다.
• POS 및 LEX 필터를 WordNet에서 활용하면 특히 의미 기반 관계 유형에서 정확도가 크게 향상된다.
• LEARN_VECTOR 방법은 표준 방법보다 훨씬 적은 공출현 데이터로도 희귀어의 정확한 벡터 학습을 가능하게 한다.
• 의미 기반 관계에 대해서는 LEX 필터가 19개의 관계 파일 중 12개에서 정확도를 향상시켰고, POS 필터는 모든 19개 파일에서 정확도를 향상시켰다.
• 문법 기반 관계에 대해서는 필터 없이도 100%의 정확도를 달성하여 부분공간 구조 내부의 강력한 내재적 일관성을 보여주었다.