[論文レビュー] Sense Vocabulary Compression through the Semantic Knowledge of WordNet for Neural Word Sense Disambiguation

Loïc Vial, Benjamin Lecouteux+1 more|arXiv (Cornell University)|May 14, 2019

Natural Language Processing Techniques参考文献 24被引用数 8

ひとこと要約

本稿では、語義的関係（例：上位概念関係や下位概念関係）を活用して、語の意味解釈（WSD）システムにおける意味タグの数を削減する2つの意味語彙圧縮手法を提案する。重要な意味に限定することで、モデルサイズを1.2–2倍に縮小し、SemCorで99.99％のカバレッジを達成し、追加の学習データなしでBERT埋め込みを用いて最先端の性能を実現する。

ABSTRACT

In this article, we tackle the issue of the limited quantity of manually sense annotated corpora for the task of word sense disambiguation, by exploiting the semantic relationships between senses such as synonymy, hypernymy and hyponymy, in order to compress the sense vocabulary of Princeton WordNet, and thus reduce the number of different sense tags that must be observed to disambiguate all words of the lexical database. We propose two different methods that greatly reduces the size of neural WSD models, with the benefit of improving their coverage without additional training data, and without impacting their precision. In addition to our method, we present a WSD system which relies on pre-trained BERT word vectors in order to achieve results that significantly outperform the state of the art on all WSD evaluation tasks.

研究の動機と目的

• 手動でアノテートされたWSDコーパスの不足に対処するために、必要な意味タグの数を削減する。
• 追加の学習データなしで、教師ありWSDモデルの一般化性能とカバレッジを向上させる。
• 圧縮された意味語彙を用いることで、WSDにおけるバックオフ戦略の必要性を排除する（ほぼ完全な意味カバレッジを確保）。
• 事前学習された文脈的埋め込み（例：BERT）を用いて、WSDで最先端の性能を達成する。
• ニューラルWSDシステムの学習および評価に使用可能な再利用可能で文書化されたツールおよびモデルを開発する。

提案手法

• WordNetの意味的グラフを用いて、上位概念およびより広い意味的関係に限定して、必須の意味のみを選択することで、圧縮された意味語彙を構築する。
• 2つの圧縮戦略を適用する：1つは上位概念関係のみに依存するもの、もう1つはすべての意味的関係（上位概念、下位概念、部位集合関係など）を用いるもの。
• SemCorとWordNetの説明文（WNGC）の組み合わせを用いて、BERT、ELMo、GloVe埋め込みでニューラルWSDモデルを学習し、文脈表現を向上させる。
• 8つの独立して学習されたモデルのアンサンブルを用いて、耐性と性能を向上させ、最終予測はクラス確率の平均値をとることで得る。
• WordNetの意味的階層構造を活用して、意味的に関連する意味をグループ化し、1つの意味が関連する意味のクラスタを代表させることを可能にする。
• 圧縮された意味語彙を学習および推論の両方で適用することで、元の学習データに存在しなかった語に対しても、モデルが意味を解釈できるようにする。

実験結果

リサーチクエスチョン

• RQ1 WordNetの意味的関係を用いて、意味語彙を圧縮しても、意味解釈の正確性を損なわずに済むか？
• RQ2 意味語彙の圧縮は、未知語に対する教師ありWSDモデルのカバレッジをどの程度向上させ得るか？
• RQ3 圧縮された意味語彙を用いることで、モデルサイズを小さくしつつ、性能を維持または向上させられるか？
• RQ4 BERT埋め込みと意味語彙圧縮の統合は、標準ベンチマーク上でのWSD性能にどのように影響を与えるか？
• RQ5 提案手法により、WSDシステムにおけるバックオフ戦略の必要性を排除できるか？

主な発見

• 提案された意味語彙圧縮手法により、WordNetにおける意味タグの総数が元のサイズのわずか6％にまで削減された。
• 圧縮された意味語彙を用いることで、SemCor学習コーパスのカバレッジは約16％から99.99％以上に向上し、評価セットで1語のみが欠落した。
• WNGC（WordNetの説明文）を組み合わせることで、評価タスクにおける多義語語のカバレッジが100％に達した。
• 上位概念ベースの圧縮とアンサンブルを用いた場合、BERT埋め込みを用いることで「ALL」タスクのF1スコアが79.00％にまで向上し、先行する最先端手法を著しく上回った。
• 圧縮された意味語彙のおかげで、モデルサイズが1.2–2倍に縮小されたが、精度に損なわれることなく、性能が維持された。
• アブレーションスタディの結果、BERT埋め込みとWNGCデータの統合が性能向上に最も大きな正の影響を与えたことが確認され、アンサンブルによりF1スコアが約1ポイント向上した。