[論文レビュー] Word Embeddings via Tensor Factorization

Eric Bailey, Shuchin Aeron|arXiv (Cornell University)|Apr 10, 2017

Tensor decomposition and applications参考文献 34被引用数 4

ひとこと要約

本稿では、3方向の同時共起度（PPMI）テンソルの対称的テンソル分解に基づき、高次共起パターンを捉える2つの新しい単語埋め込み手法、CP-S および JCP-S を提案する。この手法により、単語ベクトルの乗法的合成が可能となり、多義語の異なる意味に対して一意なベクトル表現を可能にし、意味的タスクおよび新しい3次評価指標（OD3）において行列ベースの手法を上回る性能を発揮する。

ABSTRACT

Most popular word embedding techniques involve implicit or explicit factorization of a word co-occurrence based matrix into low rank factors. In this paper, we aim to generalize this trend by using numerical methods to factor higher-order word co-occurrence based arrays, or extit{tensors}. We present four word embeddings using tensor factorization and analyze their advantages and disadvantages. One of our main contributions is a novel joint symmetric tensor factorization technique related to the idea of coupled tensor factorization. We show that embeddings based on tensor factorization can be used to discern the various meanings of polysemous words without being explicitly trained to do so, and motivate the intuition behind why this works in a way that doesn't with existing methods. We also modify an existing word embedding evaluation metric known as Outlier Detection [Camacho-Collados and Navigli, 2016] to evaluate the quality of the order-$N$ relations that a word embedding captures, and show that tensor-based methods outperform existing matrix-based methods at this task. Experimentally, we show that all of our word embeddings either outperform or are competitive with state-of-the-art baselines commonly used today on a variety of recent datasets. Suggested applications of tensor factorization-based word embeddings are given, and all source code and pre-trained vectors are publicly available online.

研究の動機と目的

• 2次的な関係を超えた高次共起情報を利用した単語埋め込み技術の開発。
• 行列ベースの手法が2次共起しかモデル化できないという制限を、3次テンソルを用いることで解消すること。
• 2次および3次共起データを統合する、共通の要因行列を用いた共同対称テンソル分解フレームワークの設計。
• 3次共起情報の捕捉能力を評価するための新しい指標を用いて、複雑な意味的関係、特に多義語の捉え方を評価すること。
• 単語ベクトルの乗法的合成が、異なる語義に対して意味的に意味のある表現を生成できることを示すこと。

提案手法

• 本手法は、コーパスから対称的かつ非負の3方向PPMIテンソルを構築し、各エントリ m_ijk が3語が文脈ウィンドウ内で同時に出現するPPMIを表す。
• データの対称的構造を保ちながら、低ランクの単語埋め込みを学習するために、対称的カノニカルパーソン（CP）分解を適用する。
• 複数の超対称的テンソルを共通の要因行列を用いて分解する、新たな共同対称テンソル分解問題を導入し、2次および3次共起情報を同時にモデル化する。
• 対称的かつ非負のテンソルに特化した逐次最小二乗法を用いて埋め込みを学習する。
• 本手法により、単語ベクトルの乗法的合成が可能となる：v_i * v_j は、語 i および j と3項の文脈で共起する語のベクトル表現を近似する。
• 3次共起関係を捉えた単語埋め込みの品質を測るため、OD3（Outlier Detection 3）と呼ばれる新しい評価指標を提案する。

実験結果

リサーチクエスチョン

• RQ1 3方向共起データのテンソル分解は、意味的NLPタスクにおいて行列ベースの手法を上回る単語埋め込みを生成できるか？
• RQ2 2次および3次共起テンソルの共同分解は、2次データのみを用いた場合に比べて埋め込み品質を向上させるか？
• RQ3 単語ベクトルの乗法的合成は、多義語の異なる意味に対して明確で意味的に意味のある表現を生成できるか？
• RQ4 テンソルベースの埋め込みは、行列ベースのモデルと比較して、高次意味的関係をどの程度よく捉えられるか？
• RQ5 OD3のような新しい評価指標を用いることで、3次共起パターンを捉える利点が明確に測定できるか？

主な発見

• 同じデータで学習した状態のSOTA行列ベース手法（CBOW や GloVe）と比較して、提案された CP-S および JCP-S 埋め込みは、複数の意味的NLPタスクで顕著に優れた性能を示す。
• 共同対称テンソル分解（JCP-S）手法は、2次および3次共起情報を効果的に統合し、性能向上をもたらしている。
• OD3指標は、テンソルベースの埋め込みが行列ベースのモデルよりも顕著に多くの3次意味的情報を捉えていることを示している。
• CP-S および JCP-S における単語ベクトルの乗法的合成は、多義語の異なる意味に対して意味的に意味のある表現を生成できており、たとえば「star」（星）と「performer」（俳優）の組み合わせでは「drama」や「award-winning」に最も近いベクトルが得られる。
• 一方で、「star」と「planet」の積は「planet」や「galaxy」に最も近くなるなど、語の意味の異なる側面を的確に分離している。
• これに対して、CBOW 埋め込みは加法的合成によるみた場合にのみ意味的に意味のある結果を生成するが、これはテンソルベースの埋め込みが多義語の表現を乗法的合成によってモデル化できるという独自の利点を示している。