[論文レビュー] Incorporating Glosses into Neural Word Sense Disambiguation

Fuli Luo, Tianyu Liu+3 more|arXiv (Cornell University)|May 21, 2018

Natural Language Processing Techniques参考文献 19被引用数 8

ひとこと要約

この論文では、コンテキスト情報と WordNet からの語彙的説明（glosses）を統合した統一されたメモリネットワークフレームワークに、GAS と呼ばれる新しいニューラル意味解析モデルを提案する。元の説明にハイパニムおよびハイポニムの関係を追加することで、意味表現を向上させ、複数の英語全語彙意味解析（WSD）ベンチマークで最先端の性能を達成し、従来のニューラルおよび知識ベース手法よりも最大 2.2% の F1 スコアで優れている。

ABSTRACT

Word Sense Disambiguation (WSD) aims to identify the correct meaning of polysemous words in the particular context. Lexical resources like WordNet which are proved to be of great help for WSD in the knowledge-based methods. However, previous neural networks for WSD always rely on massive labeled data (context), ignoring lexical resources like glosses (sense definitions). In this paper, we integrate the context and glosses of the target word into a unified framework in order to make full use of both labeled data and lexical knowledge. Therefore, we propose GAS: a gloss-augmented WSD neural network which jointly encodes the context and glosses of the target word. GAS models the semantic relationship between the context and the gloss in an improved memory network framework, which breaks the barriers of the previous supervised methods and knowledge-based methods. We further extend the original gloss of word sense via its semantic relations in WordNet to enrich the gloss information. The experimental results show that our model outperforms the state-of-theart systems on several English all-words WSD datasets.

研究の動機と目的

• ニューラル WSD モデルが WordNet の説明のような語彙的知識を無視するという限界を是正すること。
• 教師あり学習と知識ベース手法を統合し、エンドツーエンドのフレームワークでコンテキストと説明を同時に符号化すること。
• WordNet 内の意味関係（ハイパニムおよびハイポニム）を用いて、元の説明を拡張することで、説明表現を向上させること。
• 個々の語ごとに分離した分類器を必要とせず、全語彙 WSD を処理できるスケーラブルでパラメータ共有のモデルを構築すること。
• 構造化された語彙的知識の統合が、コンテキストのみに依存するモデルを上回るニューラル WSD の性能向上に寄与することを示すこと。

提案手法

• ターゲット語のコンテキストと説明を統一フレームワークで同時に符号化するメモリネットワークベースのモデル、GAS を提案する。
• メモリモジュールでマルチパス機構を用い、再読書を模倣することで、関連する説明に注目を高める。
• 2 種類のメモリ更新戦略（連結と加算）を導入し、連結戦略がより優れた性能を示した。
• ハイパニムおよびハイポニムの説明を階層的に追加することで、意味表現を豊かにする。
• WordNet の意味階層を模倣した階層的メモリ構造を採用し、より良い意味的モデリングを実現する。
• ラベル付きコンテキストデータと説明情報を用いて、注目メカニズムを介してコンテキストと説明を一致させるエンドツーエンドの学習を行う。

実験結果

リサーチクエスチョン

• RQ1 WordNet からの説明をニューラル WSD モデルに統合することで、コンテキストのみのモデルを上回る性能が達成できるか？
• RQ2 WordNet 内のハイパニムおよびハイポニム関係を用いて説明を拡張することで、より良い意味表現と意味解析が可能になるか？
• RQ3 メモリネットワークにおけるマルチパス注目機構が、正しい語の意味を特定する能力に与える影響は何か？
• RQ4 統一されたニューラルモデルが、全語彙 WSD ベンチマークで語ごとの専門的教師ありシステムを上回ることができるか？
• RQ5 コンテキスト-説明一致プロセスにおいて、性能と過学習のバランスをとる最適なメモリパス数は何か？

主な発見

• GAS は、4 つのベンチマークデータセットの連結に対して、従来の最良のニューラル WSD モデルを最大 2.2% の F1 スコアで上回った。
• ハイパニムおよびハイポニムの説明を統合した拡張版、GAS ext は、統合テストセットで最先端の F1 スコア 70.6 を達成した。
• GAS ext は、4 つのテストセットのうち 3 つ（SE3、SE13、SE15）で強力な語専門ベースライン IMS+emb を上回った。
• メモリモジュールでの複数回のパス処理が性能向上に寄与し、最適な結果は 3 パスで得られた。それ以上になると、過学習のため性能が頭打ちまたは低下した。
• 連結ベースのメモリ更新戦略は、すべてのデータセットで加算ベースの戦略を一貫して上回った。
• 語彙的知識の統合による説明拡張は、特に希少または曖昧な語の意味に対して、モデルの一般化能力を顕著に向上させた。