[论文解读] GlossBERT: BERT for Word Sense Disambiguation with Gloss Knowledge

Luyao Huang, Chi Sun+2 more|arXiv (Cornell University)|Aug 20, 2019

Natural Language Processing Techniques参考文献 12被引用 12

一句话总结

本文提出 GlossBERT，一种基于 BERT 的词义消歧（WSD）模型，通过 WordNet 定义构建上下文-释义对，并将 BERT 在这些对上进行微调，作为句子对分类任务。该方法在多个英文全词 WSD 基准测试中显著优于最先进系统，表明在上下文-释义对上微调 BERT 能有效利用释义知识，从而提升消歧性能。

ABSTRACT

Word Sense Disambiguation (WSD) aims to find the exact sense of an ambiguous word in a particular context. Traditional supervised methods rarely take into consideration the lexical resources like WordNet, which are widely utilized in knowledge-based methods. Recent studies have shown the effectiveness of incorporating gloss (sense definition) into neural networks for WSD. However, compared with traditional word expert supervised methods, they have not achieved much improvement. In this paper, we focus on how to better leverage gloss knowledge in a supervised neural WSD system. We construct context-gloss pairs and propose three BERT-based models for WSD. We fine-tune the pre-trained BERT model on SemCor3.0 training corpus and the experimental results on several English all-words WSD benchmark datasets show that our approach outperforms the state-of-the-art systems.

研究动机与目标

• 为解决监督式 WSD 方法在有效利用词汇知识（如 WordNet 释义）方面的局限性。
• 探索如何更好地利用预训练语言模型（如 BERT）以在监督式 WSD 框架中整合释义知识。
• 开发一种统一的、端到端的神经模型，避免为每个词项单独训练分类器，同时超越现有的词项专家和神经基线方法。

提出的方法

• 通过将每个歧义词的上下文与该词可能的 WordNet 词义的释义（定义）配对，构建上下文-释义对。
• 将 WSD 任务视为句子对分类问题，输入为 [CLS] 上下文 [SEP] 释义 [SEP] 的标记序列。
• 在 SemCor 3.0 训练语料库上，使用这些上下文-释义对对预训练的 BERT 模型进行微调。
• 提出三种变体：GlossBERT(Token-CLS)、GlossBERT(Sent-CLS) 和 GlossBERT(Sent-CLS-WS)，其区别在于输入中目标词的突出方式。
• 使用弱监督方法对齐训练数据中的候选释义与正确词义，提升对齐准确率。
• 利用 BERT 的双向注意力机制和上下文表示能力，建模上下文与释义之间的语义关系。

实验结果

研究问题

• RQ1 与直接在原始句子上微调 BERT 相比，在上下文-释义对上微调 BERT 是否能显著提升 WSD 性能？
• RQ2 通过句子对分类设置整合 WordNet 释义，与使用词义间语义关系的基于特征的 BERT 方法相比，效果如何？
• RQ3 在上下文-释义对中突出目标词是否能提升词义区分能力，尤其是在高歧义场景下？
• RQ4 一种避免为每个词项单独训练分类器的统一神经模型，是否能超越传统词项专家监督方法？
• RQ5 在实现最先进 WSD 结果时，释义知识与上下文表示的相对贡献分别是什么？

主要发现

• GlossBERT(Sent-CLS-WS) 在大多数基准数据集上表现最佳，该方法使用弱监督突出目标词，超越了所有先前方法。
• 该模型在 SemEval-2007 (SE07) 和 SemEval-2013 (Verb) 数据集上取得最先进结果，这两项数据集以高歧义性著称。
• GlossBERT(Token-CLS) 采用简单的 [CLS] 标记分类策略，仍优于以往的神经网络和监督基线方法，证明了释义整合的价值。
• 在上下文-释义对上微调 BERT 显著优于直接在原始句子上微调 BERT，表明释义感知的预训练至关重要。
• 在相同实验设置下，该方法优于近期基于特征的 BERT 方法（Vial et al., 2019），证明了微调优于基于特征的适配方法。
• 该方法减少了对手动特征工程的需求，并消除了为每个词项单独训练分类器的需要，提供了一种更具可扩展性和统一性的解决方案。