[論文レビュー] word2vec Skip-Gram with Negative Sampling is a Weighted Logistic PCA

Andrew J. Landgraf, Jeremy Bellay|arXiv (Cornell University)|May 27, 2017

Topic Modeling参考文献 7被引用数 13

ひとこと要約

本稿は、単語埋め込み手法である word2vec の skip-gram と負例サンプリング（SGNS）が、共起頻度と負例サンプリング率に基づく重み付き二項分布試行として単語-文脈ペアをモデル化する重み付きロジスティックPCAと数学的に同等であることを確立している。主な貢献は、SGNSを指数型族PCAに統一的に確率的解釈することで、他の手法（GloVeなど）との理解・比較が可能となり、高次元テンソル因子分解への拡張も可能となることである。

ABSTRACT

We show that the skip-gram formulation of word2vec trained with negative sampling is equivalent to a weighted logistic PCA. This connection allows us to better understand the objective, compare it to other word embedding methods, and extend it to higher dimensional models.

研究の動機と目的

• スキップグラムと負例サンプリング（SGNS）の背後にある統計的メカニズムを明確にし、広く用いられているが確率論的観点から十分に理解されていない点を解明すること。
• SGNSと指数型族PCA、特に二項尤度を用いた重み付きロジスティックPCAとの正式な関係を確立すること。
• SGNSの暗黙の正則化と重み付けスキームを説明する原理的解釈を提供すること。
• GloVe や行列因子分解に基づく手法といった他の単語埋め込み手法との比較を可能にするために、それらを共通の確率的枠組みに統合すること。
• ドキュメント、単語、文脈のベクトルを同時に学習するテンソル因子分解を用いた高次元モデルへのSGNSの拡張を可能にすること。

提案手法

• 本稿は、反応変数を観測された単語-文脈ペアの割合とし、各ペアの全機会数を重みとする、重み付き対数尤度最大化問題としてSGNSの目的関数を導出する。
• SGNSの目的関数が、応答変数 $ x_{w,c} = \frac{P_D(w,c)}{P_D(w,c) + kP_D(w)P_D(c)} $ と重み $ n_{w,c} + k n_w P_D(c) $ を用いた重み付きロジスティックPCAの最大化と等価であることを示す。
• 負例サンプリングを、$ n_{w,c} $ 個の成功と $ k n_w P_D(c) $ 個の失敗を伴う二項試行として解釈し、オッズの対数の最尤推定値が得られることを示す。
• SGNSの目的関数をロジスティックPCAの対数尤度の観点から再表現し、$ \sum_{w,c} w_{w,c} (x_{w,c} \theta_{w,c} - \log(1 + \exp(\theta_{w,c}))) $ に等価であることを示す。ここで $ \theta_{w,c} = \mathbf{v}_w^T \mathbf{v}_c $ である。
• 重み付き最小二乗法を用いた代替的な SGNS-LS アプローチを提案し、計算効率の向上とGloVeの重み付けスキームに対する概念的優位性を示す。
• ドキュメントレベルのベクトルを組み込むことで、Cotterellら（2017）の研究に類似した方法で、SGNSを高次元テンソル因子分解に拡張することを提案する。

実験結果

リサーチクエスチョン

• RQ1 SGNSに確率的解釈は可能か？ それは、実証的成功を超えて、その目的関数を説明できるか？
• RQ2 負例サンプリングプロセスは、二項分布またはロジスティック回帰モデルとどのように関係しているか？
• RQ3 SGNSは、特に指数型族フレームワーク下で、既存の行列因子分解やPCA手法と正式に結びつけることができるか？
• RQ4 この関係性が、GloVe や他の埋め込み手法とのモデル比較に与える影響は何か？
• RQ5 SGNSフレームワークは、ドキュメントベクトルを含む高次元要因をテンソル因子分解の文脈で拡張可能か？

主な発見

• SGNSは、観測された単語-文脈共起の割合を応答変数とし、全機会数を重みとする二項尤度を用いた重み付きロジスティックPCAと数学的に同等である。
• SGNSの重み付けスキームは、まれな共起を正則化する効果を持ち、$ k $ が大きいほど低頻度ペアの影響が小さくなる。
• 推定確率 $ x_{w,c} $ のオッズの対数は $ \text{PMI}(w,c) - \log k $ に一致し、LevyとGoldberg（2014）の結果が統一的確率的解釈のもとで再現される。
• 提案された重み付きロジスティックPCAフレームワークは、GloVeの重み付けスキームに比べて、周辺周波数を考慮し、まれな共起の尤度をより適切に反映するという概念的優位性を有する。
• 重み付き最小二乗法を用いた代替的SGNS-LS手法が提案され、計算上の利点とSpotifyのロジスティック行列因子分解に類似した協調フィルタリング手法との整合性が期待される。
• 指数型族PCAへの接続により、ドキュメント、単語、文脈ベクトルの同時学習を可能にするテンソル因子分解によるSGNSの高次元モデルへの拡張が可能となる。