[論文レビュー] GlossBERT: BERT for Word Sense Disambiguation with Gloss Knowledge

Luyao Huang, Chi Sun+2 more|arXiv (Cornell University)|Aug 20, 2019

Natural Language Processing Techniques参考文献 12被引用数 12

ひとこと要約

この論文では、WordNetの定義から文脈-説明ペアを構築し、これらを文対分類タスクとしてBERTを微調整することで、語義の意味づけ（WSD）を実行するGlossBERTというBERTベースのモデルを提案する。この手法は、複数の英語全語彙WSDベンチマークで最先端のシステムを著しく上回り、文脈-説明ペアに対するBERTの微調整が説明知識を効果的に活用し、意味づけ性能を向上させることを示している。

ABSTRACT

Word Sense Disambiguation (WSD) aims to find the exact sense of an ambiguous word in a particular context. Traditional supervised methods rarely take into consideration the lexical resources like WordNet, which are widely utilized in knowledge-based methods. Recent studies have shown the effectiveness of incorporating gloss (sense definition) into neural networks for WSD. However, compared with traditional word expert supervised methods, they have not achieved much improvement. In this paper, we focus on how to better leverage gloss knowledge in a supervised neural WSD system. We construct context-gloss pairs and propose three BERT-based models for WSD. We fine-tune the pre-trained BERT model on SemCor3.0 training corpus and the experimental results on several English all-words WSD benchmark datasets show that our approach outperforms the state-of-the-art systems.

研究の動機と目的

• 監視付きWSD手法が、WordNetの説明のような語彙的知識を効果的に活用できないという限界を解消すること。
• 事前学習済み言語モデル（例：BERT）が監視付きWSDフレームワーク内でどのようにして説明知識をより効果的に統合できるかを検討すること。
• 個々の語彙形ごとに分類器を別々に学習する必要がなく、かつ既存の語彙専門型およびニューラルベースラインを上回る、統合的でエンドツーエンドのニューラルモデルを開発すること。

提案手法

• 意味の曇りがある語の文脈と、その語の可能なWordNetの意味ごとの説明（定義）をペアにすることで、文脈-説明ペアを構築する。
• WSDタスクを、[CLS]文脈[SEP]説明[SEP]というトークン列を入力とする文対分類問題として扱う。
• SemCor 3.0の学習コーパスを用いて、これらの文脈-説明ペアに対して事前学習済みBERTモデルを微調整する。
• 3つの変種を提案：GlossBERT(Token-CLS)、GlossBERT(Sent-CLS)、GlossBERT(Sent-CLS-WS)。これらは、入力における対象語の強調方法が異なる。
• 弱い教師信号を用いて、学習データにおける候補となる説明と正しい意味を一致させることで、一致精度を向上させる。
• BERTの双方向アテンションと文脈依存表現を活用し、文脈と説明の間の意味的関係をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 文脈-説明ペアに対してBERTを微調整することで、元の文に対して直接微調整する手法と比較して、WSD性能が著しく向上するか？
• RQ2 文対分類設定を用いてWordNetの説明を統合する方法と、意味の関係を特徴量として用いるBERTの特徴量ベースアプローチとを比較すると、どちらが優れているか？
• RQ3 文脈-説明ペアにおける対象語の強調処理が、特に高頻度の曇りがあるケースにおいて意味の識別を向上させるか？
• RQ4 個々の語彙形ごとに分類器を別々に学習する必要がない統合的ニューラルモデルが、従来の語彙専門型監視付き手法を上回るか？
• RQ5 最先端のWSD結果を達成するにあたり、説明知識と文脈表現の相対的な貢献度はどの程度か？

主な発見

• 弱い教師信号を用いて対象語を強調するGlossBERT(Sent-CLS-WS)が、多数のベンチマークデータセットで最良の性能を示し、すべての先行手法を上回った。
• 特に曇りの高い水準が求められるSemEval-2007 (SE07) および SemEval-2013 (Verb) データセットでも最先端の結果を達成した。
• 単純な[CLS]トークン分類戦略を用いるGlossBERT(Token-CLS)ですら、従来のニューラルおよび監視付きベースラインを上回っており、説明統合の価値を裏付けた。
• 文脈-説明ペアに対してBERTを微調整することで、元の文に対して直接微調整する手法よりも顕著な向上が得られ、説明に配慮した事前学習が不可欠であることを示した。
• 同じ実験設定下で最近の特徴量ベースのBERT手法（Vial et al., 2019）を上回ったことから、微調整が特徴量ベースの適応よりも優れていることを示した。
• 手動による特徴量設計の必要性を低減し、語彙形ごとの専用分類器の学習を不要にしたため、よりスケーラブルで統合的なソリューションを提供した。