[論文レビュー] Semi-supervised Word Sense Disambiguation with Neural Models

Dayu Yuan, Julian Richardson+3 more|arXiv (Cornell University)|Mar 22, 2016

Natural Language Processing Techniques参考文献 37被引用数 83

ひとこと要約

本稿では、順序的および構文的文脈を捉えるために長短期記憶（LSTM）ネットワークを活用する半教師あり語の意味あいまい性解消（WSD）フレームワークを提案する。従来のWord2Vecベースの手法よりも優れた性能を発揮し、特に動詞においては、SemEvalの全語彙タスクで強力なベースライン比で10%の向上を達成した。ラベル付きとラベルなし文のグラフ上でLSTM言語モデルとラベル伝搬を組み合わせることで、最先端の性能が達成された。

ABSTRACT

Determining the intended sense of words in text - word sense disambiguation (WSD) - is a long standing problem in natural language processing. Recently, researchers have shown promising results using word vectors extracted from a neural network language model as features in WSD algorithms. However, a simple average or concatenation of word vectors for each word in a text loses the sequential and syntactic information of the text. In this paper, we study WSD with a sequence learning neural net, LSTM, to better capture the sequential and syntactic patterns of the text. To alleviate the lack of training data in all-words WSD, we employ the same LSTM in a semi-supervised label propagation classifier. We demonstrate state-of-the-art results, especially on verbs.

研究の動機と目的

• 大規模語彙を対象とした全語彙語の意味あいまい性解消（WSD）において、ラベル付き学習データが限られるという課題に対処すること。
• 静的単語埋め込みではなく、再帰的ニューラルネットワーク（LSTM）を用いて、順序的および構文的文脈を捉えることで、WSDの性能を向上させること。
• 大規模なラベルなしテキストデータを半教師ありのラベル伝搬を用いて活用することで、意味分類の正確性を高めること。
• LSTM言語モデルとグラフベースのラベル伝搬を組み合わせることで、教師ありベースラインよりも優れた結果が得られることを示すこと。

提案手法

• 1000次元のWord2Vecモデルを1000億語のニュースコーパス上で学習させ、初期の単語埋め込みを生成すること。
• LSTMネットワークを用いて文脈的シーケンスを符号化し、bag-of-wordsモデルよりも順序的および構文的パターンを効果的に捉えること。
• ノードが文を表し、エッジがLSTMで符号化された文の表現のコサイン類似度に基づくグラフを構築すること。
• ラベル伝搬（LP）を適用し、ラベル付きの例文のセットからラベルを伝搬させ、ラベルなし文の多数の集合へとラベルを移すことで、グラフ上でラベルを伝搬させること。
• LPで予測されたラベルを訓練データとして用い、WSD分類器を精緻化することで、意思決定境界と意味分布推定の精度を向上させること。
• F1スコアを用いてSemEvalベンチマークで性能を評価し、Word2Vecベースラインおよび最も頻出する意味モデルと比較すること。

実験結果

リサーチクエスチョン

• RQ1 動詞に対して特に、静的単語埋め込み（例：Word2Vec）と比較して、LSTMベースの言語モデルがWSD性能を向上させられるか？
• RQ2 ラベル付きとラベルなし文のグラフ上で半教師ありのラベル伝搬を適用することで、学習データが限られる状況でもWSDの正確性が向上するか？
• RQ3 言語モデルの品質（Word2Vec対LSTM）が、WSDにおけるラベル伝搬の性能に与える影響は何か？
• RQ4 グラフの密度とシードデータの構成が、WSDにおけるラベル伝搬の効果に与える影響は何か？
• RQ5 提案手法が他の品詞にも一般化可能で、さまざまな語の種類において一貫した改善を達成できるか？

主な発見

• LSTMベースのWSDモデルは、SemEvalの全語彙タスクでWord2Vecベースライン比F1スコアで10%の向上を達成し、特に動詞において顕著な向上を示した。
• LSTMモデルを用いたラベル伝搬により、SemCorではF1スコアが6.3ポイント、MASCでは7.3ポイント向上した。
• NOADとSemCorまたはMASCの両方を訓練データに含めた場合に最良の性能が得られ、多様なシードデータがラベル伝搬を強化することが示された。
• グラフ密度には明確な影響があった：類似度閾値の85パーセンタイルから98パーセンタイルの間ではF1スコアが安定していたが、80パーセンタイルでは著しく低下した。
• NOADとSemCor/MASCを訓練データとして用いた場合、SemCorではF1スコア0.872、MASCでは0.873を達成し、優れた一般化性能を示した。
• 1語の意味ごとのラベルなし文の数が変化しても、性能に顕著な向上が見られなかったため、本手法はラベルなしデータ量の増加に対して頑健であることが示された。