[论文解读] Improving Neural Named Entity Recognition with Gazetteers

Chan Hee Song, Dawn Lawrie+2 more|arXiv (Cornell University)|Mar 6, 2020

Topic Modeling参考文献 23被引用 9

一句话总结

本文通过将来自Wikidata的名录特征（即实体列表）整合到BERT-BiLSTM-CRF模型中，提出增强神经命名实体识别（NER）性能。在英语、中文和俄语中均实现了稳定的性能提升，表明名录特征可提高F1分数，且不会导致性能下降，即使在覆盖率高的低资源环境下亦是如此。

ABSTRACT

The goal of this work is to improve the performance of a neural named entity recognition system by adding input features that indicate a word is part of a name included in a gazetteer. This article describes how to generate gazetteers from the Wikidata knowledge graph as well as how to integrate the information into a neural NER system. Experiments reveal that the approach yields performance gains in two distinct languages: a high-resource, word-based language, English and a high-resource, character-based language, Chinese. Experiments were also performed in a low-resource language, Russian on a newly annotated Russian NER corpus from Reddit tagged with four core types and twelve extended types. This article reports a baseline score. It is a longer version of a paper in the 33rd FLAIRS conference (Song et al. 2020).

研究动机与目标

• 通过整合来自名录的外部知识，提升神经NER模型的性能。
• 从Wikidata生成高覆盖率、多语言的名录，用于NER系统。
• 评估名录特征在多种语言（包括低资源俄语）中的影响。
• 探究在基于BERT的模型中，名录特征是否导致性能下降或提升。
• 探索通过名录替换进行数据增强及其对模型泛化能力的影响。

提出的方法

• 利用实体标签和别名，从Wikidata自动构建名录，并将实体类型映射到标准NER类别。
• 通过检查序列中的每个词是否匹配名录中的任意实体，生成二值化特征，每个实体类型对应一个二值指示符。
• 将这些二值特征与BERT嵌入拼接，并输入BiLSTM-CRF模型进行联合序列标注。
• 使用微调后的BERT端到端训练模型，并通过CRF解码实现结构化预测。
• 实验包括通过将标注实体替换为名录中的实体来实现训练数据增强，使用标准名称及词形变化或常用形式。
• 提出一种基于显著性的过滤策略，通过排除链接次数较低的冷门Wikidata实体来减少噪声。

实验结果

研究问题

• RQ1 在高资源和低资源语言中，整合名录特征是否能提升NER性能？
• RQ2 名录覆盖率如何影响基于BERT的NER模型的性能提升？
• RQ3 基于名录的数据增强是否能提升模型泛化能力，尤其是在低资源设置下？
• RQ4 在名录中使用噪声或低显著性实体是否会损害模型性能？
• RQ5 名录内容与训练数据之间的对齐程度如何影响模型学习？

主要发现

• 在英语和中文中，加入名录特征使F1分数提升了0.22–0.30分（例如，英语扩展集：64.17 vs. 基线64.08），且无性能下降。
• 在俄语中，使用名录特征的模型在核心类型上的F1达到64.17，略高于基线（64.08），表明即使在低资源环境下也能实现稳定提升。
• 当名录覆盖率较高时，性能提升最为显著，证实覆盖率是决定有效性的关键因素。
• 使用名录实体进行数据增强并未带来一致的性能提升，可能是因为实体类型不匹配（例如，将“哈佛大学”替换为“迪士尼乐园”）。
• 研究发现，名录特征从不会损害性能，且在名录与训练数据分布高度对齐时尤为有益。
• 作者结论认为，名录特征应在NER系统中作为标准组件使用，并建议未来工作探索上下文感知、类型对齐的实体替换方法，以提升可靠性。