[論文レビュー] Analogies Explained: Towards Understanding Word Embeddings

Carl Allen, Timothy M. Hospedales|arXiv (Cornell University)|Jan 28, 2019

Natural Language Processing Techniques被引用数 56

ひとこと要約

この論文は、語彙埋め込みが線形アナロジーを示す理由を説明する確率論的な枠組みを提供し、W2VおよびGloVeのような PMI因子分解埋め込みに観察される線形関係の厳密な証明を提供します。

ABSTRACT

Word embeddings generated by neural network methods such as word2vec (W2V) are well known to exhibit seemingly linear behaviour, e.g. the embeddings of analogy "woman is to queen as man is to king" approximately describe a parallelogram. This property is particularly intriguing since the embeddings are not trained to achieve it. Several explanations have been proposed, but each introduces assumptions that do not hold in practice. We derive a probabilistically grounded definition of paraphrasing that we re-interpret as word transformation, a mathematical description of "$w_x$ is to $w_y$". From these concepts we prove existence of linear relationships between W2V-type embeddings that underlie the analogical phenomenon, identifying explicit error terms.

研究の動機と目的

• 語の文脈分布に関連付く確率論的なパラフレーズの概念を動機づけ、定義する。
• PMI が因子分解されると、パラフレーズが埋め込み間の線形関係を生み出すことを示す。
• 埋め込みにおけるパラフレーズ、単語変換、およびアナロジーの正式な関係を導出する。
• PMIベースの埋め込みにおける線形アナロジーの厳密な証明と、それらがW2VおよびGloVeに現れることを提供する。

提案手法

• 誘導された文脈分布をKL発散を用いて比較することにより、単語のパラフレーズを定義する。
• パラフレーズ関係を、PMIベクトルの和とパラフレーズ誤差項および依存誤差項として表現する。
• パラフレーズがC-dagger射影を介して線形変換の範囲内で埋め込みの等価性に翻訳されることを証明する。
• 単語セットへ拡張し、単語単体のパラフレーズから単語変換へ一般化する。
• アナロジーが w_a から w_a*、および w_b から w_b* が同じ変換パラメータを共有する条件を導出する。
• PMI因子分解を線形アナロジー関係へ結びつける明示的な定式化を提示する。

実験結果

リサーチクエスチョン

• RQ1 どの条件下で、単語埋め込みの和が単一の語の埋め込みをパラフレーズするのか？
• RQ2 パラフレーズと単語変換は、埋め込みにおける線形アナロジー現象をどう説明できるか？
• RQ3 パラフレーズ誤差、依存誤差と観測されるアナロジー・ベクトルとの厳密な数学的関係は何か？

主な発見

• PMI由来の埋め込みの線形結合が別の埋め込みと一致する条件を支配する、パラフレージングの確率的定義。
• パラフレーズは、加法的パラメータを伴う単語変換として解釈でき、アナロジー構造を説明する。
• アナロジーの語埋め込み間の線形関係の厳密な証明があり、解釈可能な誤差項を伴う。
• 結果は PMI 因子分解および W2V と GloVe 風の埋め込みに、射影関係を通じて適用される。
• 明示的には、アナロジーの埋め込みは w_b* ≈ w_a* − w_a + w_b と、パラフレーズと依存特性に依存する誤差項を伴って特徴づけられる。
• この枠組みは、線形アナロジーの結果が正確なときと、誤差の打ち消しにより偽陽性が生じうるときとを明確にする。