[논문 리뷰] Distributed Representations of Words and Phrases and their Compositionality

Tomáš Mikolov, Ilya Sutskever외 3명|arXiv (Cornell University)|2013. 10. 16.

Natural Language Processing Techniques참고 문헌 19인용 수 18,060

한 줄 요약

이 논문은 Skip-gram 모델에 서브샘플링, 부정 샘플링 및 구문 기반 접근법을 확장하여 고품질의 단어 벡터와 구문 벡터의 효율적 학습과 이들의 선형 구성성을 입증한다.

ABSTRACT

The recently introduced continuous Skip-gram model is an efficient method for learning high-quality distributed vector representations that capture a large number of precise syntactic and semantic word relationships. In this paper we present several extensions that improve both the quality of the vectors and the training speed. By subsampling of the frequent words we obtain significant speedup and also learn more regular word representations. We also describe a simple alternative to the hierarchical softmax called negative sampling. An inherent limitation of word representations is their indifference to word order and their inability to represent idiomatic phrases. For example, the meanings of "Canada" and "Air" cannot be easily combined to obtain "Air Canada". Motivated by this example, we present a simple method for finding phrases in text, and show that learning good vector representations for millions of phrases is possible.

연구 동기 및 목표

• 구문적 및 의미적 관계를 포착하는 분산된 단어 표현을 학습하도록 동기를 부여한다.
• 자주 등장하는 단어의 서브샘플링을 통해 학습 속도와 벡터 품질을 개선한다.
• 학습 효율성을 위한 계층적 소프트맥스의 간단한 대안으로 부정 샘플링을 도입한다.
• 단어 벡터를 구로 확장하여 비조합적 의미를 포착한다.
• 학습된 벡터의 선형 구성성 및 가법적 특성을 입증한다.

제안 방법

• 주변 단어를 예측하여 단어 벡터를 학습하기 위해 Skip-gram 모델을 사용한다.
• 계산량을 줄이기 위해 전체 소프트맥스를 계층적 소프트맥스나 부정 샘플링으로 대체한다.
• 자주 등장하는 단어를 서브샘플링하여 학습 속도를 높이고 희귀 단어 표현을 개선한다.
• 일반적인 이단어쌍을 단일 토큰으로 취급하여 구 벡터를 식별하고 학습한다.
• 구를 포함한 유추 추론 과제를 사용해 평가하고 가법적 구성성을 분석한다.

Figure 1: The Skip-gram model architecture. The training objective is to learn word vector representations that are good at predicting the nearby words.

실험 결과

연구 질문

• RQ1 Skip-gram 모델에서 서브샘플링과 부정 샘플링이 학습 속도와 벡터 품질을 개선할 수 있는가?
• RQ2 구 기반 표현이 비조합적 의미를 포착하고 신뢰할 수 있는 유추 추론을 지원하는가?
• RQ3 단어 벡터가 의미 있는 벡터 덧셈 결과를 가능하게 하는 선형 구성성을 나타내는가?
• RQ4 구가 포함된 유추 과제에서 구 벡터가 단어 벡터와 어떻게 비교되는가?

주요 결과

• 부정 샘플링은 단어 유추 과제에서 계층적 소프트맥스를 능가하고 특정 설정에서 NCE를 초과할 수 있다.
• 자주 등장하는 단어의 서브샘플링은 2배에서 10배의 속도 향상을 제공하고 희귀 단어의 정확도를 향상시킨다.
• 대규모 데이터(수십억 단어)에 대한 구 기반 학습은 의미 있는 구 벡터를 산출하고 구 유추 과제에서 72% 정확도를 달성한다.
• 단어 및 구 벡터는 선형 유추 및 가법 특성을 보이며 Russia + river ≈ Volga River 및 Volga 유사 구문과 같은 의미 있는 벡터 산술을 가능하게 한다.
• 30B-word 코퍼스가 구 학습과 계층적 소프트맥스가 적용된 경우 더 작은 모델에 비해 강력한 구 유추 성능을 보였다.
• 구 표현은 적절한 설정으로 학습될 때 드문 용어의 최근접 이웃 품질을 향상시킨다.

Figure 2: Two-dimensional PCA projection of the 1000-dimensional Skip-gram vectors of countries and their capital cities. The figure illustrates ability of the model to automatically organize concepts and learn implicitly the relationships between them, as during the training we did not provide any