[論文レビュー] Improving the Coverage and the Generalization Ability of Neural Word Sense Disambiguation through Hypernymy and Hyponymy Relationships

Loïc Vial, Benjamin Lecouteux+1 more|arXiv (Cornell University)|Nov 2, 2018

Natural Language Processing Techniques参考文献 3被引用数 6

ひとこと要約

本稿では、WordNetにおける上位概念関係（ハイパニムィー）および下位概念関係（ハイポニムィー）を用いて意味語彙を縮小することで、ニューラル意味解釈（WSD）の性能を向上させる新規な手法を提案する。この手法により、教師ありシステムがより高いカバレッジと一般化性能を達成しつつ、異なる意味タグの数を減らすことができる。このアプローチは、特にモデルアンサンブルとWordNet Gloss Taggedコーパスを組み合わせた場合、多数のWSDベンチマークで最先端の結果を上回る性能を発揮する。

ABSTRACT

In Word Sense Disambiguation (WSD), the predominant approach generally involves a supervised system trained on sense annotated corpora. The limited quantity of such corpora however restricts the coverage and the performance of these systems. In this article, we propose a new method that solves these issues by taking advantage of the knowledge present in WordNet, and especially the hypernymy and hyponymy relationships between synsets, in order to reduce the number of different sense tags that are necessary to disambiguate all words of the lexical database. Our method leads to state of the art results on most WSD evaluation tasks, while improving the coverage of supervised systems, reducing the training time and the size of the models, without additional training data. In addition, we exhibit results that significantly outperform the state of the art when our method is combined with an ensembling technique and the addition of the WordNet Gloss Tagged as training corpus.

研究の動機と目的

• 意味アノテーション付きコーパスの不足により、教師ありWSDシステムのカバレッジと一般化性能が制限されている問題に対処すること。
• 意味解釈の能力を保持したまま、WordNetにおける異なる意味タグの数を削減すること。
• 出力語彙を縮小することでモデルの効率を向上させつつ、性能を損なわないこと。
• WordNetに内在する階層的意味関係が、ニューラルWSDにおけるより良い一般化のための構造的インダクティブバイアスとして機能するかを検討すること。

提案手法

• 本手法は、ハイパニムィーおよびハイポニムィーの階層に基づき、WordNetに含まれるすべての語を解釈するために必要な最小限の意味タグの集合を同定し、それらを保持する。
• 各意味をその最も一般的なハイパニムにマッピングすることで、細分化された意味をより広い意味的カテゴリに統合する。
• 訓練データ（例：SemCor）における意味タグを、これらの一般化されたタグに再エンコードし、ユニークなラベル数を削減する。
• 縮小された意味語彙でニューラルWSDモデルを訓練することで、学習速度とモデルサイズの両方を改善する。
• 本手法は、単一モデルおよびアンサンブル手法を用いた標準的なWSDベンチマークで評価される。
• さらに、WordNet Gloss Taggedコーパスと組み合わせることで、本手法の性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 ハイパニムィーおよびハイポニムィー関係を用いてWordNetの意味語彙を縮小することで、教師ありWSDシステムのカバレッジと一般化性能が向上するか？
• RQ2 細分化された意味の代わりに一般化された意味タグ（ハイパニム）を用いることで、ラベル数が減っても性能が向上するか？
• RQ3 モデルアンサンブルと追加の訓練データを組み合わせた場合、本手法は最先端のシステムと比較してどのように異なるか？
• RQ4 意味の構造がWordNetの階層によってより制限される名詞において、本手法はどの程度性能を向上させるか？

主な発見

• 意味語彙の縮小を実現しつつ、すべてのWSDタスクで性能を維持または向上させる。
• カバレッジの大幅な向上：SemCorのみを用いた場合、アノテーション不可能な語数は491から91に減少。WordNet Gloss Taggedを追加した場合、126から12に減少。
• 多数のWSD評価タスクで最先端の結果を達成するが、特にモデルアンサンブルを用いた場合に顕著である。
• アンサンブルは意味語彙の縮小の恩恵を拡大する。これは、本手法が複数のモデル間で予測を安定化させることを示している。
• 意味語彙の縮小により、最初の意味バックオフの必要性がほぼ排除され、多数のタスクでカバレッジがほぼ100％に近づく。
• 意味語彙の縮小とWordNet Gloss Taggedコーパスの組み合わせが、最も優れた結果をもたらし、先行する最先端システムを顕著に上回る。