[论文解读] End-to-End Entity Linking and Disambiguation leveraging Word and Knowledge Graph Embeddings

Rostislav Nedelchev, Debanjan Chaudhuri+2 more|arXiv (Cornell University)|Feb 25, 2020

Topic Modeling参考文献 28被引用 12

一句话总结

该论文提出了一种端到端神经网络模型，通过整合词嵌入和知识图谱（KG）嵌入，联合执行简单问答中的实体和关系链接。该模型引入了一种新颖的门控机制，利用KG嵌入相似性实现隐式消歧，无需大量后处理即可实现最先进（SOTA）的实体链接性能，尤其在困难和软性歧义情况下表现显著提升。

ABSTRACT

Entity linking - connecting entity mentions in a natural language utterance to knowledge graph (KG) entities is a crucial step for question answering over KGs. It is often based on measuring the string similarity between the entity label and its mention in the question. The relation referred to in the question can help to disambiguate between entities with the same label. This can be misleading if an incorrect relation has been identified in the relation linking step. However, an incorrect relation may still be semantically similar to the relation in which the correct entity forms a triple within the KG; which could be captured by the similarity of their KG embeddings. Based on this idea, we propose the first end-to-end neural network approach that employs KG as well as word embeddings to perform joint relation and entity classification of simple questions while implicitly performing entity disambiguation with the help of a novel gating mechanism. An empirical evaluation shows that the proposed approach achieves a performance comparable to state-of-the-art entity linking while requiring less post-processing.

研究动机与目标

• 为解决知识图谱问答中实体消歧的挑战，特别是当关系链接错误或模糊时。
• 将知识图谱嵌入整合到端到端神经架构中，通过捕捉关系之间的语义相似性来提升实体链接性能。
• 通过利用KG嵌入中的上下文和结构信息，减少对字符串相似性及后处理的依赖。
• 设计一种可微分的门控机制，利用KG嵌入相似性基于关系上下文优化实体预测。
• 评估模型在语言信号微弱或具有误导性时的鲁棒性，尤其是在歧义情况下。

提出的方法

• 模型采用双编码器架构，使用预训练的词嵌入对自然语言问题以及候选实体/关系进行编码。
• 引入知识图谱嵌入以捕捉实体和关系之间的语义关系与关系上下文。
• 提出一种新颖的门控机制，通过预测关系与候选关系KG嵌入之间的余弦相似度，计算实体和关系预测得分的加权组合。
• 最终的实体预测基于问题嵌入与门控后实体表示之间的相似度得分，实现隐式消歧。
• 模型采用软边缘损失进行端到端训练，以提升泛化能力，并在歧义情况下优化候选重排序。
• 该架构支持可解释性，因为最终预测和门控决策可通过相似度得分与注意力机制进行分析。

实验结果

研究问题

• RQ1 当关系链接错误或模糊时，KG嵌入是否能在端到端模型中提升实体链接性能？
• RQ2 基于KG嵌入相似性的学习型门控机制在无显式语言信号的情况下，对实体消歧的有效性如何？
• RQ3 联合集成词嵌入与KG嵌入是否相比模块化或基于字符串匹配的方法能带来更高的实体链接准确率？
• RQ4 在多个实体同名且无明确语言线索的困难歧义情况下，模型的性能表现如何？
• RQ5 模型是否能在不依赖后处理步骤（如Levenshtein距离或字符串匹配）的情况下保持高性能？

主要发现

• 该模型在无需额外后处理步骤（如字符串相似性匹配）的情况下，实现了与最先进方法相当的实体链接准确率。
• 所提出的门控机制平均提升了3.97%的实体链接准确率，尤其在关系预测错误的情况下收益显著。
• 在软性歧义情况（占问题的21.1%）中，模型在84.81%的情况下正确识别了实体，其中9.78%的正确预测得益于KG嵌入驱动的消歧，即使关系预测错误。
• 在困难歧义情况（占问题的18.51%）中，模型在选择正确实体方面达到了35.66%的准确率，表明KG嵌入在无语言线索下解决歧义具有显著价值。
• 在非歧义情况下，模型正确识别实体的比例达到97.70%，表明其具备强大的基线性能。
• 错误分析显示，在440个非歧义情况的错误预测中，165例源于缺少1跳KG连接，162例源于实体跨度检测失败，凸显了该领域为未来改进的关键方向。