[论文解读] End-to-End Neural Entity Linking

Nikolaos Kolitsas, Octavian-Eugen Ganea+1 more|arXiv (Cornell University)|Aug 23, 2018

Topic Modeling参考文献 31被引用 11

一句话总结

该论文提出了首个端到端的神经实体链接模型，通过上下文感知的提及嵌入和实体嵌入、神经注意力机制以及全局投票机制，联合执行提及检测与实体消歧。该模型在AIDA/CoNLL数据集上达到最先进性能，并在结合强命名实体识别（NER）系统时展现出对多样化数据的良好泛化能力。

ABSTRACT

Entity Linking (EL) is an essential task for semantic text understanding and information extraction. Popular methods separately address the Mention Detection (MD) and Entity Disambiguation (ED) stages of EL, without leveraging their mutual dependency. We here propose the first neural end-to-end EL system that jointly discovers and links entities in a text document. The main idea is to consider all possible spans as potential mentions and learn contextual similarity scores over their entity candidates that are useful for both MD and ED decisions. Key components are context-aware mention embeddings, entity embeddings and a probabilistic mention - entity map, without demanding other engineered features. Empirically, we show that our end-to-end method significantly outperforms popular systems on the Gerbil platform when enough training data is available. Conversely, if testing datasets follow different annotation conventions compared to the training set (e.g. queries/ tweets vs news documents), our ED model coupled with a traditional NER system offers the best or second best EL accuracy.

研究动机与目标

• 解决传统流水线方法将提及检测与实体消歧视为独立任务所导致的错误传播问题。
• 开发一种统一的神经模型，通过利用两个阶段之间的相互依赖关系，联合优化提及检测与实体链接。
• 通过端到端学习的嵌入表示与注意力机制，取代手工设计的特征。
• 在AIDA/CoNLL等标准基准上实现最先进性能，并在不同数据分布上表现出鲁棒性。
• 证明当与强NER系统结合时，该模型在低资源或域外数据集上仍能有效泛化。

提出的方法

• 模型生成文档中所有可能的跨度作为候选提及，并使用上下文嵌入计算每个提及与其潜在实体候选之间的兼容性得分。
• 通过提及跨度上的双向LSTM学习上下文感知的提及嵌入，而实体嵌入则从预训练的知识库嵌入中初始化。
• 神经注意力机制计算提及上下文与每个实体候选之间的相关性得分，以捕捉长距离依赖关系。
• 全局投票机制聚合所有提及-实体对的兼容性得分，以增强一致性并提升消歧效果。
• 在训练过程中，模型使用基于边距的损失函数，使正确提及-实体对的得分高于所有错误候选及无效提及。
• 模型端到端训练，无需人工标注的不可链接提及负样本。

实验结果

研究问题

• RQ1 单一神经模型是否能比独立的流水线系统更有效地联合优化提及检测与实体消歧？
• RQ2 在端到端实体链接中，手工设计的特征在多大程度上可被学习的嵌入表示替代？
• RQ3 当测试数据在标注风格或分布上与训练数据不同时，模型性能如何？
• RQ4 与独立建模相比，联合优化是否能提升提及边界检测与实体链接的准确率？
• RQ5 当与强NER系统结合时，模型在低资源或域外设置下是否能实现良好泛化？

主要发现

• 所提出的端到端模型在AIDA/CoNLL数据集上达到最先进性能，其实体链接F1值在强匹配标准下比所有基线模型至少高出9%。
• 该模型显著优于分别优化提及检测与消歧的系统，证明了联合学习的优势。
• 当训练与测试数据采用相同标注方案时，该模型无需外部NER系统即可实现最佳实体链接性能。
• 在域外数据（如查询和推文）上，该模型与Stanford NER系统结合后，实现了最佳或第二好的实体链接准确率，展现出强大的泛化能力。
• 错误分析显示，该模型的误报与漏报极少，大多数额外提及对应的是未包含在黄金标准中的有效知识库实体。
• 消融研究显示，对频繁实体有益的对数先验项在稀有实体上会损害性能，提示先验设计存在权衡。