[論文レビュー] A Simple Approach to Learn Polysemous Word Embeddings

Yifan Sun, Nikhil Rao+1 more|arXiv (Cornell University)|Jul 6, 2017

Topic Modeling参考文献 19被引用数 8

ひとこと要約

この論文は、正規化された共起統計を用いて文脈的単語表現をグローバル単語ベクトルの重み付き組み合わせとしてモデル化することで、多義語単語表現を学ぶシンプルで線形な手法を提案する。その単純さにもかかわらず、複雑なディープラーニングモデルを上回る、複数の教師なし多義語評価タスクで最先端の性能を達成しており、標準的な word2vec 以外の追加学習を必要としない。

ABSTRACT

Many NLP applications require disambiguating polysemous words. Existing methods that learn polysemous word vector representations involve first detecting various senses and optimizing the sense-specific embeddings separately, which are invariably more involved than single sense learning methods such as word2vec. Evaluating these methods is also problematic, as rigorous quantitative evaluations in this space is limited, especially when compared with single-sense embeddings. In this paper, we propose a simple method to learn a word representation, given any context. Our method only requires learning the usual single sense representation, and coefficients that can be learnt via a single pass over the data. We propose several new test sets for evaluating word sense induction, relevance detection, and contextual word similarity, significantly supplementing the currently available tests. Results on these and other tests show that while our method is embarrassingly simple, it achieves excellent results when compared to the state of the art models for unsupervised polysemous word representation learning.

研究の動機と目的

• 複雑な学習やクラスタリングを必要とせずに、文脈依存の意味特化型単語表現を学ぶ課題に対処すること。
• 教師なし多義語表現学習において、シンプルでありながら効果的な手法を開発すること。
• 複数の NLP タスクにわたる多義語単語表現の評価のための包括的で大規模なテストセットを提供すること。
• 最小限の非ニューラル手法が、最先端のディープラーニングモデルと同等またはそれを上回る性能を発揮できることを示すこと。

提案手法

• 各単語の基本ベクトルとして、標準的なシングルセンス word2vec ベクトルを用いる。
• 文脈的単語表現は、ターゲット単語との共起頻度に基づいて重み付けされた、文脈単語ベクトルの正規化線形結合として計算される。
• 重み行列は正規化された共起回数から導出され、$ W_{ij} = \frac{\text{共起回数}(i,j)}{\text{頻度}(i) \times \text{頻度}(j)} $ で定義される。
• ターゲット文脈 $ \mathcal{S} $ における単語 $ i $ の最終的な文脈表現は、$ u = \frac{1}{|\mathcal{S}|} \sum_{j \in \mathcal{S}} W_{ji} C_j $ で与えられる。ここで $ C_j $ は単語 $ j $ の word2vec ベクトルである。
• 追加の学習は不要で、共起統計を計算するためのコロナスループの1回の走査のみで済む。
• すべての単語と文脈に一様に適用可能であり、ゼロショットの文脈適応を可能にする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み単語ベクトルと共起重みを用いたシンプルな線形結合が、多義語表現学習で競争力のある性能を達成できるか？
• RQ2 提案手法は、教師なし多義語評価タスクにおいて、複雑なディープラーニングベースのモデルと比べてどのように差をつけるか？
• RQ3 一様で学習不可の手法が、エンドツーエンド学習と意味クラスタリングを必要とするモデルを上回れるか？
• RQ4 提案されたテストセットは、既存のベンチマークと比較して、多義語表現の評価をどの程度改善するか？

主な発見

• 提案手法は、意味の誘導、文脈的単語類似度、関連性検出タスクで最先端の性能を達成しており、Huang ら (2012) や Arora ら (2016) のような複雑なモデルを上回っている。
• 単語意味分類 (WSC) タスクでは、C1 で平均正答率 84.3%、C2 で 78.9% を達成し、大多数の既存の教師なし手法を上回っている。
• 文脈的単語類似度タスクでは、新規テストセットでスピアマン順位相関係数 0.78 を達成し、ベースライン手法を著しく上回っている。
• 意味レベルの監視情報を持つ WordNet ベースのモデルと比較しても、性能が競争力を持っている。
• 計算オーバーヘッドが最小限であるにもかかわらず、さまざまな文脈や多義語に対して安定した性能を発揮している。
• 著者らは、包括的で多義語特化のベンチマークで評価された際、非ニューラルで線形な手法がディープラーニングモデルを上回る性能を発揮できることを示した。