[论文解读] Improving the Coverage and the Generalization Ability of Neural Word Sense Disambiguation through Hypernymy and Hyponymy Relationships

Loïc Vial, Benjamin Lecouteux+1 more|arXiv (Cornell University)|Nov 2, 2018

Natural Language Processing Techniques参考文献 3被引用 6

一句话总结

本文提出了一种新方法，通过利用上下位关系（hypernymy）和下位关系（hyponymy）减少WordNet中的义项词汇量，从而提升神经网络词义消歧（WSD）的覆盖范围与泛化能力，同时减少所需的义项标签数量。该方法显著提升了性能——尤其在结合模型集成与WordNet Gloss Tagged语料库时，多数WSD基准测试结果超越了当前最先进水平。

ABSTRACT

In Word Sense Disambiguation (WSD), the predominant approach generally involves a supervised system trained on sense annotated corpora. The limited quantity of such corpora however restricts the coverage and the performance of these systems. In this article, we propose a new method that solves these issues by taking advantage of the knowledge present in WordNet, and especially the hypernymy and hyponymy relationships between synsets, in order to reduce the number of different sense tags that are necessary to disambiguate all words of the lexical database. Our method leads to state of the art results on most WSD evaluation tasks, while improving the coverage of supervised systems, reducing the training time and the size of the models, without additional training data. In addition, we exhibit results that significantly outperform the state of the art when our method is combined with an ensembling technique and the addition of the WordNet Gloss Tagged as training corpus.

研究动机与目标

• 解决因义项标注语料稀缺而导致的监督式WSD系统覆盖范围有限与泛化能力不足的问题。
• 在不损害消歧能力的前提下，减少WordNet中所需的不同义项标签数量。
• 通过缩小输出词汇表规模，提升模型效率，同时不损失性能。
• 探究WordNet中的层级语义关系是否可作为神经网络WSD中更好的泛化能力的结构归纳偏置。

提出的方法

• 该方法基于上下位与下位关系层级，识别并仅保留消歧所有WordNet词汇所必需的最小义项标签集合。
• 将每个义项映射至其最一般的上位词，从而将细粒度义项合并为更广泛的语义类别。
• 在训练数据（如SemCor）中重新编码义项标签，使用这些泛化后的标签，从而减少唯一标签的数量。
• 在缩减后的义项词汇表上训练神经WSD模型，提升训练速度并减小模型规模。
• 通过单模型与集成技术在标准WSD基准上评估该方法。
• 通过结合WordNet Gloss Tagged语料库进一步增强该方法，以提供额外的训练信号。

实验结果

研究问题

• RQ1 通过上下位与下位关系缩减WordNet中的义项词汇量，是否能提升监督式WSD系统的覆盖范围与泛化能力？
• RQ2 尽管标签数量减少，使用泛化义项标签（即上位词）是否仍能带来更好的性能表现？
• RQ3 当结合模型集成与额外训练数据时，该方法与最先进系统相比表现如何？
• RQ4 该方法在名词上的性能提升程度如何？因为名词受WordNet层级结构的约束更强。

主要发现

• 该方法在保持或提升所有WSD任务性能的同时，显著减少了所需的不同义项标签数量。
• 覆盖范围显著提升：仅使用SemCor时，无法标注的词数从491个降至91个；加入WordNet Gloss Tagged语料后，降至12个。
• 在大多数WSD评估任务中，该系统达到最先进水平，尤其在使用模型集成时表现更优。
• 模型集成进一步放大了义项词汇量缩减的优势，表明该方法能稳定不同模型间的预测结果。
• 该方法几乎消除了对首次义项回退机制的依赖，因为在大多数任务中覆盖率达到接近100%。
• 当结合义项词汇量缩减与WordNet Gloss Tagged语料库时，性能达到最佳，显著超越先前最先进系统。