[論文レビュー] Towards a Better Understanding of Predict and Count Models

S. Sathiya Keerthi, Tobias Schnabel+1 more|arXiv (Cornell University)|Nov 6, 2015

Topic Modeling参考文献 8被引用数 4

ひとこと要約

本論文は、予測ベースの単語埋め込みモデル（例：SGNS）と度数ベースのモデル（例：PMI）の関係を厳密に分析し、特定の条件下でSGNSがシフトされたPMIモデルと同等であることを明らかにした。SGNSの次元削減による過学習の低減という主要な最適化的差異を同定し、L1/L2正則化の閉形式解を有する新たな凸で解釈可能な単語埋め込みモデルを提案した。

ABSTRACT

In a recent paper, Levy and Goldberg pointed out an interesting connection between prediction-based word embedding models and count models based on pointwise mutual information. Under certain conditions, they showed that both models end up optimizing equivalent objective functions. This paper explores this connection in more detail and lays out the factors leading to differences between these models. We find that the most relevant differences from an optimization perspective are (i) predict models work in a low dimensional space where embedding vectors can interact heavily; (ii) since predict models have fewer parameters, they are less prone to overfitting. Motivated by the insight of our analysis, we show how count models can be regularized in a principled manner and provide closed-form solutions for L1 and L2 regularization. Finally, we propose a new embedding model with a convex objective and the additional benefit of being intelligible.

研究の動機と目的

• 予測ベースのモデル（例：SGNS）と度数ベースのモデル（例：PMI）の単語表現学習における理論的関係を明確化すること。
• これらのモデル間の主な最適化的差異、特に次元数と過学習に関する分析を同定し、分析すること。
• 系統的な分析を通じて、度数ベースのPMIモデルにおける原理的正則化を可能にすること。
• CBOWに基づく解釈可能で閉形式解を有する新たな凸単語埋め込みモデルを提案すること。
• 伝統的な分布的モデルと現代のニューラル予測モデルの理論的基盤を統合し、そのギャップを埋めること。

提案手法

• 対称的共起性と固定された文脈ベクトルの下で、SGNSとシフトされたPMIモデルの等価性を導出する。
• SGNSの目的関数を共起に基づく最適化問題に再定式化し、明示的な解の導出を可能にする。
• L1およびL2ペナルティを用いてPMIモデルに正則化を導入し、両者の閉形式解を導出する。
• 解釈可能なベクトル表現を持つCBOWに基づく新たな凸単語埋め込みモデルを提案する。
• 文脈表現をワンホットベクトルまたはバッグオブワーズ特徴として使用し、単語ベクトルの各成分の直接的解釈を可能にする。
• トレーニングにネガティブサンプリングまたはソフトマックスを用い、新しいモデルでは蓄積された共起統計に基づく閉形式更新が可能になる。

実験結果

リサーチクエスチョン

• RQ1 対称的共起性仮定の下で、SGNSとPMIモデルの目的関数は数学的にどのように関連しているか？
• RQ2 SGNSとPMIモデルの主な最適化的差異は何か、特に次元数と過学習の観点から。
• RQ3 PMIベースのモデルに正則化を体系的かつ適用可能か？また、L1およびL2ペナルティの閉形式解は何か？
• RQ4 度数モデルと予測モデルの両方の利点を保ちつつ、解釈可能で凸な単語埋め込みモデルを構築可能か？
• RQ5 提案されたモデルは、解釈可能性と単語表現における高次相互作用の捉え具合のバランスをどのようにとるか？

主な発見

• 文脈ベクトルがワンホット表現に固定され、共起行列が対称的である場合、SGNSは数学的にシフトされたPMIモデルと同等である。
• SGNSがPMIよりも優位な主な最適化的利点は、次元数の低い埋め込みを用いることで、パラメータ数の削減により過学習が低減される点に起因する。
• PMIモデルはL1およびL2ペナルティを用いて正則化可能であり、両者の閉形式解が導出され、一般化性能の向上が可能になる。
• CBOWに基づく新たな凸単語埋め込みモデルが提案され、各成分が文脈語に対応する解釈可能な単語ベクトルを提供する。
• 提案されたモデルは、制約や正則化を通じてドメイン知識の直接統合が可能であり、解釈可能性とモデル表現力の間の妥協点を提供する。
• 分析により、PMIモデルにおける文脈ベクトルと単語ベクトルの間の相互作用の欠如が、SGNSとは顕著な構造的差異であることが明らかになった。