[论文解读] Joint Learning of the Embedding of Words and Entities for Named Entity Disambiguation

Ikuya Yamada, Hiroyuki Shindo+2 more|arXiv (Cornell University)|Jan 6, 2016

Topic Modeling参考文献 29被引用 48

一句话总结

本文提出了一种联合词与实体嵌入模型，通过改进的跳字模型框架，将词语和实体映射到共享的向量空间中，结合知识库（KB）链接结构和锚定词上下文。通过联合优化词语预测、知识库图中的实体接近度以及实体-锚定上下文对齐，该方法在CoNLL上达到93.1%的准确率，在TAC 2010上达到85.2%的准确率，显著优于先前方法，在命名实体消歧任务中达到最先进性能。

ABSTRACT

Named Entity Disambiguation (NED) refers to the task of resolving multiple named entity mentions in a document to their correct references in a knowledge base (KB) (e.g., Wikipedia). In this paper, we propose a novel embedding method specifically designed for NED. The proposed method jointly maps words and entities into the same continuous vector space. We extend the skip-gram model by using two models. The KB graph model learns the relatedness of entities using the link structure of the KB, whereas the anchor context model aims to align vectors such that similar words and entities occur close to one another in the vector space by leveraging KB anchors and their context words. By combining contexts based on the proposed embedding with standard NED features, we achieved state-of-the-art accuracy of 93.1% on the standard CoNLL dataset and 85.2% on the TAC 2010 dataset.

研究动机与目标

• 为解决命名实体消歧（NED）挑战，通过在共享向量空间中联合学习词语与实体表示。
• 通过建模文档中实体的局部文本上下文与全局一致性，提升NED性能。
• 克服先前方法将词语与实体分开处理或仅依赖文本相似性的局限。
• 开发一种嵌入方法，捕捉词语与实体之间的语义相似性，通过向量空间中的接近度实现更优的消歧。

提出的方法

• 扩展跳字模型，以在共享的d维向量空间中联合学习词语与实体嵌入。
• 引入知识库图模型，基于知识库（如维基百科）的链接结构学习实体接近度。
• 开发锚定上下文模型，利用知识库锚点与周围文本，将实体向量与上下文词语对齐。
• 联合优化三个组件——词语预测、知识库图接近度和锚定上下文预测——以训练嵌入模型。
• 利用学习到的嵌入计算命名实体消歧的两个关键特征：提及上下文与候选实体之间的文本上下文相似度，以及文档中实体之间的连贯性。
• 通过监督学习将这些基于嵌入的特征与标准NED特征（如先验概率）结合，实现最终的消歧。

实验结果

研究问题

• RQ1 与独立表示相比，联合学习词语与实体嵌入是否能提升命名实体消歧性能？
• RQ2 知识库链接结构与锚定词上下文在多大程度上可被有效利用以改进实体表示学习？
• RQ3 通过共享嵌入同时整合局部上下文相似性与全局连贯性，是否能带来更高的消歧准确率？
• RQ4 所提出的嵌入组件在多大程度上有助于减少由模糊提及或低频实体引起的错误？

主要发现

• 所提方法在CoNLL数据集上达到93.1%的最先进准确率，优于先前方法。
• 在TAC 2010数据集上，该方法达到85.2%的准确率，显著优于现有方法。
• 模型成功学习到高质量的实体表示，经独立的实体相关性数据集验证。
• 约9.6%的错误与入度少于10个KB锚点的尾部实体相关，表明在表示稀有实体方面仍存在局限。
• 该方法在建模连贯性方面表现尤为突出，联合嵌入有助于在文档中实现更优的全局消歧决策。
• 消融研究证实，知识库图模型与锚定上下文模型均对最终性能有显著贡献。