[論文レビュー] word2vec Explained: deriving Mikolov et al.'s negative-sampling word-embedding method

Yoav Goldberg, Omer Levy|arXiv (Cornell University)|Feb 15, 2014

Topic Modeling参考文献 2被引用数 1,299

ひとこと要約

この論文は、word2vecにおけるMikolovらのネガティブサンプリング手法の明確な導出と解説を提供しており、スキップグラムモデルにおける計算が高価なソフトマックスを、正例（真の）単語-文脈ペアとネガティブにサンプリングされた（偽の）ペアで学習することで、効率的に近似する方法を示している。主な貢献は、ネガティブサンプリングの目的関数を厳密かつ直感的に導出したことであり、これにより学習を高速化しつつ、学習された単語埋め込みの意味的類似性を維持できる。

ABSTRACT

The word2vec software of Tomas Mikolov and colleagues (https://code.google.com/p/word2vec/ ) has gained a lot of traction lately, and provides state-of-the-art word embeddings. The learning models behind the software are described in two research papers. We found the description of the models in these papers to be somewhat cryptic and hard to follow. While the motivations and presentation may be obvious to the neural-networks language-modeling crowd, we had to struggle quite a bit to figure out the rationale behind the equations. This note is an attempt to explain equation (4) (negative sampling) in "Distributed Representations of Words and Phrases and their Compositionality" by Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado and Jeffrey Dean.

研究の動機と目的

• Mikolov らの word2vec 論文におけるネガティブサンプリング目的関数の、しばしば難解とされる導出を明確にし、その方法の背後にある論理を理解するための基盤を提供すること。
• ニューラルネットワーク言語モデルの文献と、word2vecの実装、特にネガティブサンプリング技術とのギャップを埋めること。
• ネガティブサンプリングが、単語埋め込みの学習において完全なソフトマックスの効率的代替手段として機能する理由を、数学的に正確かつ直感的に説明すること。
• ネガティブサンプリング目的関数と分布仮説との間の関係を形式化し、類似した単語が類似したベクトル表現を持つよう促進する仕組みを示すこと。

提案手法

• 単語-文脈ペアが訓練データから抽出される確率をモデル化することで、ロジスティック回帰風の二値分類設定を用いてネガティブサンプリング目的関数を導出する。
• すべてのベクトルが同一になるような自明な解を防ぐために、訓練データに存在しないランダムに抽出された単語-文脈ペア（ネガティブサンプル）の使用を導入する。
• 正例ペア（log σ(v_c · v_w)）とネガティブペア（log σ(–v_c · v_w)）の対数尤度の和として最適化目的関数を構築し、真のペアでは類似度を高め、偽のペアでは類似度を低くするよう促進する。
• ネガティブサンプルが単語頻度の3/4乗に比例する分布から抽出されることで、学習の安定性と性能が向上することを説明する。
• この手法が、正例とネガティブ例の両方に対するバイナリクロスエントロピー損失を最適化することに等しく、完全なソフトマックスと比較して計算が容易であることを示す。
• 単語ベクトルと文脈ベクトルを同時に最適化する場合、この手法は非凸であるが、一方のベクトル集合を固定すれば凸になることを強調する。

実験結果

リサーチクエスチョン

• RQ1 word2vecにおけるネガティブサンプリングは、スキップグラムモデルにおける計算が高価なソフトマックスをどのように近似するか？
• RQ2 オリジナルのスキップグラムモデルとは異なる目的関数を最適化しているにもかかわらず、なぜネガティブサンプリングが効果的な単語埋め込みを生成するのか？
• RQ3 ネガティブサンプリング目的関数の数学的導出は何か？ そして、オリジナルのword2vecの定式化とどのように関係しているか？
• RQ4 ネガティブ例のサンプリング戦略（例：3/4乗の指数を用いた頻度ベースのサンプリング）が、学習された表現の質に与える影響は？
• RQ5 なぜネガティブサンプリングが意味的類似性を捉えた単語埋め込みを生成するのか、理論的根拠は何か？

主な発見

• ネガティブサンプリングは、すべての文脈に対する正規化を必要とする高価なソフトマックスを、二値分類目的関数に置き換えることで、word2vecにおける計算を効率的に可能にする。
• この手法は、真の単語-文脈ペアの類似度（ドット積）を最大化し、ネガティブペアでは類似度を最小化する、バイナリクロスエントロピーに類似した目的関数を最適化する。
• 頻度の3/4乗に比例する歪んだ分布から抽出されたネガティブサンプルの使用により、頻度が高すぎる単語によるノイズが低減され、モデル性能が向上する。
• 頻度の高い単語のサブサンプリングにより、有効な文脈ウィンドウサイズが拡大され、意味的に関連するが離れている単語も類似度学習に寄与できるようになる。
• オリジナルのスキップグラムモデルとは異なる目的関数を最適化しているにもかかわらず、ネガティブサンプリングは分布仮説を満たす単語埋め込みを生成する。つまり、意味的に類似した単語は類似したベクトル表現を持つ。
• 単語ベクトルと文脈ベクトルを同時に学習する場合、この手法は非凸であるが、一方のベクトル集合を固定すれば凸になるため、最適化挙動の理解に役立つ。