[論文レビュー] Distributed Representations of Words and Phrases and their Compositionality

Tomáš Mikolov, Ilya Sutskever+3 more|arXiv (Cornell University)|Oct 16, 2013

Natural Language Processing Techniques参考文献 19被引用数 18,060

ひとこと要約

本論文はSkip-gramモデルをサブサンプリング、ネガティブサンプリング、句ベースのアプローチで拡張し、高品質な語と句のベクトルを効率的に学習し、それらの線形組成性を実証する。

ABSTRACT

The recently introduced continuous Skip-gram model is an efficient method for learning high-quality distributed vector representations that capture a large number of precise syntactic and semantic word relationships. In this paper we present several extensions that improve both the quality of the vectors and the training speed. By subsampling of the frequent words we obtain significant speedup and also learn more regular word representations. We also describe a simple alternative to the hierarchical softmax called negative sampling. An inherent limitation of word representations is their indifference to word order and their inability to represent idiomatic phrases. For example, the meanings of "Canada" and "Air" cannot be easily combined to obtain "Air Canada". Motivated by this example, we present a simple method for finding phrases in text, and show that learning good vector representations for millions of phrases is possible.

研究の動機と目的

• 統語的・意味的関係を捉える分散語表現の学習を動機づける。
• 頻繁に出現する語のサブサンプリングを通じて学習速度とベクトル品質を向上させる。
• トレーニング効率のために階層的ソフトマックスの簡易的な代替としてネガティブサンプリングを導入する。
• 語ベクトルを句へ拡張し、非構成的意味を捉える。
• 学習されたベクトルの線形組成性と加法的性質を実証する。

提案手法

• 周囲の語を予測することによって語ベクトルを学習するためにSkip-gramモデルを用いる。
• 計算を削減するためにフルソフトマックスを階層ソフトマックスまたはネガティブサンプリングに置き換える。
• 頻繁な語をサブサンプリングして学習を高速化し、希少語の表現を改善する。
• 共通の2語連結を単一のトークンとして扱い、句ベクトルを特定・学習する。
• 句を含む類推タスクを用いて評価し、加法的組成性を分析する。

Figure 1: The Skip-gram model architecture. The training objective is to learn word vector representations that are good at predicting the nearby words.

実験結果

リサーチクエスチョン

• RQ1 Skip-gramモデルにおいてサブサンプリングとネガティブサンプリングは学習速度とベクトル品質を向上させるか？
• RQ2 句ベースの表現は非構成的意味を捉え、信頼できる類推推論を支援するか？
• RQ3 語ベクトルは意味あるベクトル加算結果を可能にする線形組成性を示すか？
• RQ4 句を含む類推タスクにおける句ベクトルは語ベクトルとどう比較されるか？

主な発見

• ネガティブサンプリングは語の類推タスクで階層ソフトマックスを上回り、特定の設定下でNCEを凌ぐことがある。
• 頻繁な語のサブサンプリングは2倍から10倍の速度向上をもたらし、希少語の精度を向上させる。
• 大規模データ（十億語規模まで）を用いた句ベースの学習は意味のある句ベクトルを生み出し、句の類推タスクで72%の精度を達成する。
• 語ベクトルと句ベクトルは線形アナロジー性と加法性を示し、ロシア + 川 ≈ Volga River および Volga-like phrases のような意味のあるベクトル演算を可能にする。
• 30B-word コーパスは句学習と階層ソフトマックスを用いた場合、より小さなモデルと比較して強力な句の類推性能を示した。
• 句表現は適切な設定で学習された場合、稀少語の最近傍品質を改善する。

Figure 2: Two-dimensional PCA projection of the 1000-dimensional Skip-gram vectors of countries and their capital cities. The figure illustrates ability of the model to automatically organize concepts and learn implicitly the relationships between them, as during the training we did not provide any