[論文レビュー] sense2vec - A Fast and Accurate Method for Word Sense Disambiguation In Neural Word Embeddings

Andrew Trask, Phil Michalak+1 more|arXiv (Cornell University)|Nov 19, 2015

Natural Language Processing Techniques参考文献 13被引用数 137

ひとこと要約

この論文では、文脈固有の埋め込みを割り当てるために教師あり品詞タギングを活用することで、ニューラル単語埋め込みにおける語の意味の曖昧性解消を高速かつ高精度に行う sense2vec を提案する。ニューラル依存解析において、6言語すべてで未ラベル付きアタッチメントスコアにおいて平均8%以上の誤差低減を達成しており、これは、標準的な単一ベクトルモデルと比較して、意味の曖昧性が解消された埋め込みが構文解析性能を顕著に向上させることを示している。

ABSTRACT

Neural word representations have proven useful in Natural Language Processing (NLP) tasks due to their ability to efficiently model complex semantic and syntactic word relationships. However, most techniques model only one representation per word, despite the fact that a single word can have multiple meanings or "senses". Some techniques model words by using multiple vectors that are clustered based on context. However, recent neural approaches rarely focus on the application to a consuming NLP algorithm. Furthermore, the training process of recent word-sense models is expensive relative to single-sense embedding processes. This paper presents a novel approach which addresses these concerns by modeling multiple embeddings for each word based on supervised disambiguation, which provides a fast and accurate way for a consuming NLP model to select a sense-disambiguated embedding. We demonstrate that these embeddings can disambiguate both contrastive senses such as nominal and verbal senses as well as nuanced senses such as sarcasm. We further evaluate Part-of-Speech disambiguated embeddings on neural dependency parsing, yielding a greater than 8% average error reduction in unlabeled attachment scores across 6 languages.

研究の動機と目的

• 単一ベクトルの単語埋め込みが複数の語の意味を1つの重ね合わせに混同するという制限を解消し、下流のNLP性能を損なう問題に対処すること。
• 教師ありラベリングを用いて非教師型クラスタリングに置き換えることで、語の意味モデリングの計算コストを低減し、より高速な学習と推論を実現すること。
• 文脈に応じた意味の曖昧性が解消された単語埋め込みを提供することで、ニューラル構文解析の精度を向上させること。
• 意味の曖昧性が解消された埋め込みが、多言語依存解析タスクにおいて標準的な単語埋め込みを上回ることを評価すること。
• 教師あり曖昧性解消が、NLPモデルに適切な単語ベクトルを効率的かつ効果的に選択可能であることを示すこと。

提案手法

• 本手法は事前学習済みの単語埋め込みモデルを用い、各単語の出現に対して文法的意味をラベル付ける教師あり品詞タガーモデルを適用する。
• 各単語について、tf-idf重み付けを用いて周辺単語の重み付き平均として文脈埋め込みを計算する。
• これらの文脈埋め込みを単語ごとにクラスタリングし、異なる意味のプロトタイプを特定する。クラスターラベルは教師あり品詞タギングにより割り当てられる。
• 各単語の出現を対応する意味クラスタに再ラベル付けし、意味固有のラベルを用いた構造化スキップグラムアプローチで新たな単語埋め込みモデルを学習する。
• 最終的な埋め込みは、ベースラインモデルと同一のハイパーパrameterを用いて訓練され、公平な比較を保証する。
• 本手法は、ゴールスタンダードの品詞タグを入力インデックスとして使用するニューラル依存解析器に、意味固有の埋め込みを直接統合する。

実験結果

リサーチクエスチョン

• RQ1 品詞タグを用いた教師あり曖昧性解消は、従来の単一ベクトルモデルと比較して、より正確で効率的な単語埋め込みを生み出せるか？
• RQ2 意味の曖昧性が解消された埋め込みの使用は、複数の言語にわたる構文解析性能に測定可能な向上をもたらすか？
• RQ3 sense2vecの計算コストは、非教師型クラスタリングに基づく語の意味モデルと比較してどの程度か？
• RQ4 意味の曖昧性が解消された埋め込みは、名詞的 vs 動詞的、あるいは皮肉などの対照的・微細な意味の違いをどの程度改善するか？
• RQ5 本手法は、品詞タグ以外の種類の教師ありラベルに対しても一般化可能か？

主な発見

• sense2vecは、依存解析における未ラベル付きアタッチメントスコアで、6言語すべてで平均8.52%の誤差低減を達成しており、言語ごとの低減率は3.98%から13.69%の範囲にわたる。
• スウェーデン語では12.71%、ドイツ語では13.69%の誤差低減が見られ、語形に豊かな言語において顕著な性能向上が示された。
• ベースラインのwang2vec埋め込みよりも、6言語すべてで優れた性能を示し、絶対誤差低減率は2.47%から14.54%の範囲にわたる。
• sense2vec埋め込みの使用により、ブルガリア語で5.17%、ドイツ語で10.93%の誤差低減が達成され、多様な文法的構造を持つ言語で一貫した向上が確認された。
• 構文木バンクから不正なトークンを除去しても高い性能を維持したため、現実のNLPパイプラインにおける耐障害性が示された。
• 結果から、語の意味を別々の埋め込みに分離することで、重ね合わせ問題が緩和され、下流のNLPモデルの正確性が向上することが確認された。