[論文レビュー] What the Vec? Towards Probabilistically Grounded Embeddings

Carl Allen, Ivana Balažević+1 more|arXiv (Cornell University)|May 30, 2018

Topic Modeling参考文献 34被引用数 7

ひとこと要約

この論文は、Word2VecおよびGloVe埋め込みをポイントワイズ相互情報量（PMI）ベクトルに結びつける確率的基盤を確立し、次元削減された空間への線形投影において、類似性、並び替え、類推といった意味的関係が、高次元のPMIベクトルの線形的相互作用から生じることを示している。主な貢献は、W2VおよびGloVe埋め込みがなぜ機能するのかを説明する理論的枠組みを提供することであり、意味的関係の間の階層的構造を明らかにし、WとC行列の平均を用いるという一般的な実践的措置を正当化している。

ABSTRACT

Word2Vec (W2V) and GloVe are popular, fast and efficient word embedding algorithms. Their embeddings are widely used and perform well on a variety of natural language processing tasks. Moreover, W2V has recently been adopted in the field of graph embedding, where it underpins several leading algorithms. However, despite their ubiquity and relatively simple model architecture, a theoretical understanding of what the embedding parameters of W2V and GloVe learn and why that is useful in downstream tasks has been lacking. We show that different interactions between PMI vectors reflect semantic word relationships, such as similarity and paraphrasing, that are encoded in low dimensional word embeddings under a suitable projection, theoretically explaining why embeddings of W2V and GloVe work. As a consequence, we also reveal an interesting mathematical interconnection between the considered semantic relationships themselves.

研究の動機と目的

• W2VおよびGloVe埋め込みが何を学習しているのか、そしてなぜ下流NLPタスクで効果的であるのかを理論的に理解すること。
• 類似性、並び替え、類推といった語の意味的性質が、PMIベクトル相互作用の観点からどのように説明できるかを明らかにすること。
• WおよびC埋め込み行列間の数学的関係を導出し、それらが対称的な損失関数にもかかわらず同一でない理由を正当化すること。
• 関連性を基本とする二項関係としての関係性から始まる、意味的関係（類似性、並び替え、類推）の階層的相互接続性を明らかにすること。

提案手法

• 著者たちはW2VecおよびGloVeの損失関数を分析し、それらが暗黙的にシフトされたPMI行列S = W^T Cの因子分解を行っていることを示した。
• 意味的関係が特定のPMIベクトルの線形結合に対応しており、次元削減された空間への線形投影によってもその性質が保持されることを示した。
• 理論的導出により、WおよびC行列は等しくないことが示され、W^T C = Sという導出された関係が、それらの非対称的役割を説明し、実務で平均を用いることの正当性を裏付けた。
• この枠組みは、コサイン類似度といった一般的な操作を、PMIベクトル間の関連性の測定として解釈し、類推を語の同時出現を含む高次元の相互作用として解釈する。
• 著者たちはtext8コーパスを用いた実証的評価を通じて理論的主張を検証し、WおよびCに異なる制約を課えたモデルを比較した。
• 彼らは、誤差項（例：類推）の幾何的解釈を、PMIベクトルが存在する超曲面Sからのずれとして提示した。

実験結果

リサーチクエスチョン

• RQ1 W2VecおよびGloVe埋め込みはポイントワイズ相互情報量（PMI）ベクトルとどのように関係しており、なぜ意味的関係を捉えられるのか？
• RQ2 W2VecおよびGloVe埋め込みが、語の類推解消やコサイン類似度による類似性検出といった性質を示すのはなぜか？
• RQ3 WおよびCの二つの埋め込み行列間の数学的関係は何か？対称的な学習にもかかわらず、なぜそれらは同一でないのか？
• RQ4 類似性、並び替え、類推といった意味的関係は、PMIベースの相互作用を通じてどのように階層的に関連しているのか？
• RQ5 高次元の意味的関係（例：類推）における誤差の原因は何か？そして幾何学的にどのように解釈できるか？

主な発見

• W2Vecの損失関数は、シフトされたPMI行列を暗黙的に最小化しており、W2Vec埋め込みとPMIベクトルとの直接的な関係を確立している。
• 類似性や並び替えといった意味的関係は、PMIベクトルの線形結合から生じており、次元削減された空間への投影によってもその性質が保持される。
• WおよびC行列は等しくない。導出された関係W^T C = Sにより、それらの非対称的役割が説明され、実務で平均を用いることが正当化される。
• 語の埋め込み間のコサイン類似度は、PMIによる関連性の測定に対応しており、この広く用いられるヒューリスティックに意味的解釈を与える。
• 階層的構造が明らかになった：関連性は基本的な二項関係（PMI）であり、類似性はすべての語に対する全体的な関連性に依存し、並び替えは語集合との同時出現に依存し、類推は語のペアの同時出現に依存する。
• 類推タスクにおける誤差は、語の間の統計的依存性に起因し、PMIベクトルが存在する超曲面Sからのずれとして幾何学的に解釈できる。