[論文レビュー] Geometry of Polysemy

Jiaqi Mu, Suma Bhat+1 more|arXiv (Cornell University)|Oct 24, 2016

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、語の意味の多義性をモデル化するための教師なし手法K-Grassmeansを提案する。この手法は、語の文脈を低ランク部分空間として表現し、グラスマン多様体幾何を用いてこれらの部分空間をクラスタリングすることで意味の誘導を実現する。同じ意味に対応する部分空間が重なり合うことを利用して、外部リソースに依存せずに、文脈的単語埋め込みの幾何的構造を活用することで、意味誘導および意味の解釈において最先端の性能を達成する。

ABSTRACT

Vector representations of words have heralded a transformational approach to classical problems in NLP; the most popular example is word2vec. However, a single vector does not suffice to model the polysemous nature of many (frequent) words, i.e., words with multiple meanings. In this paper, we propose a three-fold approach for unsupervised polysemy modeling: (a) context representations, (b) sense induction and disambiguation and (c) lexeme (as a word and sense pair) representations. A key feature of our work is the finding that a sentence containing a target word is well represented by a low rank subspace, instead of a point in a vector space. We then show that the subspaces associated with a particular sense of the target word tend to intersect over a line (one-dimensional subspace), which we use to disambiguate senses using a clustering algorithm that harnesses the Grassmannian geometry of the representations. The disambiguation algorithm, which we call $K$-Grassmeans, leads to a procedure to label the different senses of the target word in the corpus -- yielding lexeme vector representations, all in an unsupervised manner starting from a large (Wikipedia) corpus in English. Apart from several prototypical target (word,sense) examples and a host of empirical studies to intuit and justify the various geometric representations, we validate our algorithms on standard sense induction and disambiguation datasets and present new state-of-the-art results.

研究の動機と目的

• 単一のベクトルによる語の埋め込みが多義性を捉えるのには限界があること、特に1つの語が複数の意味を持つこと。
• WordNetのような手動でアノテートされた語彙リソースに依存しない、教師なしの意味誘導および語彙表現の手法の開発。
• 語の文脈をベクトルではなく、低次元部分空間としてモデル化し、意味クラスタリングのための幾何的構造を活用すること。
• 標準ベンチマーク上で手法を検証し、意味誘導および意味の解釈において最先端の性能を示すこと。

提案手法

• ターゲット語の各文脈を、周囲の機能語（W ≈ 10個程度）の語の埋め込みによって張られる低ランク部分空間として表現する。
• 同じ語の意味に対応する部分空間は、共通の1次元部分空間（直線）に交わると仮説を立てる。この共通部分空間が、その意味の幾何的基準点として機能する。
• 部分空間間の類似度をグラスマン多様体距離で測定し、共通の交差線に近い部分空間をクラスタリングする。
• グラスマン多様体幾何を用いて、部分空間に対してK-meansに類似したクラスタリングアルゴリズムを適用し、異なる語の意味を同定する。
• コーパス内でのターゲット語の各出現に対して、推論された意味をラベル付けし、文脈部分空間のベクトル平均によって語の意味ペア（語彙表現）を学習する。
• 反復的なソフトおよびハードデコードを適用し、文脈内での多義語同士の相互解釈を活用して意味予測を改善する。

実験結果

リサーチクエスチョン

• RQ1 語の文脈をベクトルや語の埋め込みの平均値ではなく、低ランク部分空間として表現することで、より正確に表現できるか？
• RQ2 同じ語の意味に対応する部分空間の交わりが、非自明な1次元部分空間を形成するか？これにより幾何的意味クラスタリングが可能になるか？
• RQ3 外部語彙リソースに依存せずに、グラスマン多様体幾何を効果的に活用して教師なしの意味誘導および意味の解釈が可能か？
• RQ4 提案手法K-Grassmeansは、既存の最先端手法と比較して、意味誘導および類似度タスクにおいてどのように性能を発揮するか？

主な発見

• 本手法は、標準的な意味誘導および意味の解釈ベンチマークで、以前の教師なし手法を上回る新たな最先端の結果を達成した。
• 実証的分析により、同じ意味の文脈が共通の直線に沿って交わる部分空間に位置することが確認され、核心的な幾何的仮説が裏付けられた。
• 語の文脈の部分空間表現は、語の埋め込みの平均値よりも意味クラスタリングに効果的であり、高次元の意味的構造を保持していることが示された。
• 反復的デコード手順により、特に希少または紛らわしい意味に対して、相互文脈を活用して意味の解釈を改善することができた。
• 外部語彙辞書に依存せず、コロケーションベースの意味クラスタを強固に誘導でき、ソフトマージンスコアを備えた多様な粒度の意味表現が可能になった。
• 低次元部分空間は、点ベースのベクトルモデルよりも文レベルの意味をより安定的かつ情報豊かに表現できることを示唆しており、文や段落のモデリングにも広範な影響を及ぼす可能性がある。