[論文レビュー] Making Sense of Word Embeddings

Maria Pelevina, Nikolay Arefyev+2 more|arXiv (Cornell University)|Aug 10, 2017

Topic Modeling参考文献 34被引用数 14

ひとこと要約

この論文は、事前学習済み単語埋め込みから導出された単語のエゴネットをクラスタリングすることで、教師なし単語意味解釈（WSD）を可能にする、単語意味埋め込みを学習するための新規手法を提案する。このアプローチは、ラベル付きデータや事前の意味インベントリを必要とせず、意味インベントリを生成できる。SemEvalベンチマーク上で、最先端の教師なしWSDシステムと同等の性能を達成した。

ABSTRACT

We present a simple yet effective approach for learning word sense embeddings. In contrast to existing techniques, which either directly learn sense representations from corpora or rely on sense inventories from lexical resources, our approach can induce a sense inventory from existing word embeddings via clustering of ego-networks of related words. An integrated WSD mechanism enables labeling of words in context with learned sense vectors, which gives rise to downstream applications. Experiments show that the performance of our method is comparable to state-of-the-art unsupervised WSD systems.

研究の動機と目的

• 意味ラベル付きコーパスや事前に定義された意味インベントリに依存しない、複数のプロトタイプを持つ単語意味埋め込みを学習する手法を開発すること。
• 依存構文解析と既存の単語埋め込みのみを用いて、単語意味解釈を可能にすること。
• 標準的なWSDベンチマークでこの手法を評価し、最先端の教師なしシステムと比較すること。
• エゴネットのクラスタリングから得られる意味埋め込みが、最先端の教師なしWSDアプローチと同等の性能を示すことを実証すること。

提案手法

• この手法は、解析済みコーパスからの依存関係を用いて、ターゲット語をエゴとし、その句内従属語をアラウンドとするエゴネットを構築する。
• エゴネットに対してクラスタリングを適用し、関連する語をグループ化することで、候補となる意味クラスタを形成する。
• 各クラスタ内の単語埋め込みの重み付き平均を計算することで意味ベクトルを学習し、類似度に基づく重み付けにより関連する近隣語を強調する。
• 文脈内の語を、コサイン類似度に基づいて最も類似した意味ベクトルにマッピングする単語意味解釈メカニズムを採用する。
• このアプローチは、意味インベントリのインダクション（新規作成）と、既存インベントリ（例：WordNet や TWSI）の再利用の両方をサポートする。
• この手法は、SemEval-2013 タスク13 および TWSI データセットで、複数の指標（ジャカード係数、ファジーNMI、WNDCG など）を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 意味ラベルなしで、事前学習済み単語埋め込みのエゴネットクラスタリングが、意味的に意味のある意味インベントリを効果的に誘導できるか。
• RQ2 提案されたWSDシステムの性能が、標準ベンチマークで最先端の教師なしWSDシステムと比較してどうなるか。
• RQ3 意味誘導において、依存関係に基づく類似度（JBT）が単語埋め込み類似度（w2v）を上回るか。
• RQ4 事前に存在する意味インベントリ（例：TWSI）を提案手法と組み合わせることで、WSD性能がどの程度向上するか。

主な発見

• 提案手法の最良設定は、TWSIデータセットでF1スコア0.615を達成し、w2vベースおよびJBTベースのモデルを上回った。
• TWSI意味インベントリを用いたモデルは、w2vおよびJBTベースラインを著しく上回り、正確なインベントリが性能向上に寄与することを示した。
• SemEval-2013データセットでは、提案手法の性能は上位ランクの教師なしWSDシステムと同等であり、設定ごとにF1スコアは0.451から0.494の範囲に収まった。
• 最先端の非パrametric手法AdaGramは一部の指標で同程度またはわずかに優れていたが、提案手法は全評価指標で競争力を持っていた。
• 教師なしWSD手法、包括的に提案手法を含め、最頻出意味ベースラインを常に上回る手法は存在せず、教師なし意味解釈の難易度を示唆した。
• この手法は、微調整やラベル付きデータを必要とせず、事前学習済み単語埋め込みからのみ意味埋め込みを学習でき、意味インダクションとインベントリ再利用の両方をサポートした。