[论文解读] Entity Linking via Dual and Cross-Attention Encoders

Oshin Agarwal, Daniel M. Bikel|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 14被引用 5

一句话总结

本文提出了一种两阶段实体链接框架，采用双编码器模型进行无别名的候选生成，并使用基于BERT的交叉注意力编码器进行重排序。通过利用上下文敏感表示和文档级上下文，该方法在TACKBP-2010数据集上实现了92.05%的最先进准确率，且在CoNLL-2003训练数据上展现出强大的零样本泛化能力。

ABSTRACT

Entity Linking has two main open areas of research: 1) generate candidate entities without using alias tables and 2) generate more contextual representations for both mentions and entities. Recently, a solution has been proposed for the former as a dual-encoder entity retrieval system (Gillick et al., 2019) that learns mention and entity representations in the same space, and performs linking by selecting the nearest entity to the mention in this space. In this work, we use this retrieval system solely for generating candidate entities. We then rerank the entities by using a cross-attention encoder over the target mention and each of the candidate entities. Whereas a dual encoder approach forces all information to be contained in the small, fixed set of vector dimensions used to represent mentions and entities, a crossattention model allows for the use of detailed information (read: features) from the entirety of each tuple. We experiment with features used in the reranker including different ways of incorporating document-level context. We achieve state-of-the-art results on TACKBP-2010 dataset, with 92.05% accuracy. Furthermore, we show how the rescoring model generalizes well when trained on the larger CoNLL-2003 dataset and evaluated on TACKBP-2010.

研究动机与目标

• 为解决实体链接中别名表存在的偏差、静态性以及在低资源领域中常不可用的问题。
• 通过在完整上下文中实现动态注意力，超越固定向量嵌入，提升提及和实体的上下文表征学习能力。
• 开发一种无需依赖预计算候选表的可泛化端到端实体链接系统。
• 评估交叉注意力机制在利用丰富上下文特征进行候选实体重排序中的有效性。
• 展示在CoNLL-2003数据集上训练的重排序器在TACKBP-2010数据集上的零样本泛化能力。

提出的方法

• 使用基于DEER的双编码器模型，通过共享嵌入空间中的密集向量相似性生成候选实体，从而消除对别名表的依赖。
• 利用注意力于提及、其上下文以及每个候选实体描述的交叉注意力BERT编码器对前k名候选进行重排序。
• 将文档级上下文作为输入特征输入重排序器，采用词袋和基于BERT的编码策略。
• 在CoNLL-2003上训练交叉注意力重排序器，并在TACKBP-2010上进行评估，以测试零样本泛化能力。
• 采用两阶段流水线：双编码器用于高效检索，随后使用基于BERT的重排序实现上下文感知消歧。
• 双编码器使用GloVe嵌入，重排序器使用BERT，以在效率与表征能力之间取得平衡。

实验结果

研究问题

• RQ1 双编码器模型是否能在不依赖别名表的情况下有效生成候选实体？
• RQ2 通过关注完整提及和实体上下文，基于交叉注意力的BERT模型是否能提升实体链接的准确率？
• RQ3 文档级上下文在重排序阶段提升消歧能力方面有多有效？
• RQ4 在较大数据集（CoNLL-2003）上训练的重排序器是否能很好地泛化到较小且不同的数据集（TACKBP-2010）？
• RQ5 与固定维度的双编码器表征相比，交叉注意力机制在多大程度上提升了性能？

主要发现

• 所提方法在TACKBP-2010数据集上实现了92.05%的最先进准确率，优于先前系统。
• 交叉注意力重排序器通过实现对相关特征的上下文敏感注意力，显著提升了性能，优于双编码器基线。
• 在CoNLL-2003上训练的重排序器能很好地泛化到TACKBP-2010，无需在目标数据集上微调即可实现高准确率。
• 模型在训练过程中成功忽略了无关的位置信息，表明注意力学习具有鲁棒性。
• 消融实验证实，文档级上下文和实体描述对消歧有显著贡献。
• 该框架展现出强大的零样本泛化能力，表明其在无需微调的情况下即可部署于低资源领域。