[论文解读] Leveraging Deep Neural Networks and Knowledge Graphs for Entity Disambiguation

Hongzhao Huang, Larry Heck+1 more|arXiv (Cornell University)|Apr 28, 2015

Topic Modeling参考文献 48被引用 93

一句话总结

本文提出了一种深度语义相关性模型（DSRM），该模型利用深度神经网络（DNNs）和来自语义知识图谱（KGs）的异构知识——包括实体事实、类型和描述——来学习实体的低维、语义丰富的表示。通过在大规模知识图谱上以监督方式训练DSRM，以最小化语义相关实体之间的距离，该模型在两个公开数据集上的实体消歧错误率相比基于归一化谷歌距离的最先进方法分别降低了19.4%和24.5%。

ABSTRACT

Entity Disambiguation aims to link mentions of ambiguous entities to a knowledge base (e.g., Wikipedia). Modeling topical coherence is crucial for this task based on the assumption that information from the same semantic context tends to belong to the same topic. This paper presents a novel deep semantic relatedness model (DSRM) based on deep neural networks (DNN) and semantic knowledge graphs (KGs) to measure entity semantic relatedness for topical coherence modeling. The DSRM is directly trained on large-scale KGs and it maps heterogeneous types of knowledge of an entity from KGs to numerical feature vectors in a latent space such that the distance between two semantically-related entities is minimized. Compared with the state-of-the-art relatedness approach proposed by (Milne and Witten, 2008a), the DSRM obtains 19.4% and 24.5% reductions in entity disambiguation errors on two publicly available datasets respectively.

研究动机与目标

• 为解决传统实体相关性度量方法的局限性，例如依赖维基百科锚点链接以及对热门实体的偏见。
• 通过学习实体之间更准确的语义相关性，改进实体消歧中的主题一致性建模。
• 探究语义知识图谱（KGs）是否在度量实体相关性方面优于维基百科锚点链接。
• 评估深度神经网络（DNNs）是否在相关性度量中优于传统方法如归一化谷歌距离（NGD）和向量空间模型（VSP）。
• 开发一个统一框架，将基于DNN的语义表示与图正则化相结合，以提升消歧性能。

提出的方法

• DSRM将来自知识图谱的异构语义知识（包括结构化事实、实体类型和文本描述）编码到统一的潜在空间中。
• 该模型使用具有多层非线性变换的深度神经网络，将实体表示映射到低维向量空间，使语义上相关的实体在距离上更接近。
• 在大规模知识图谱和维基百科上以监督方式训练，优化目标为最小化语义相关实体对之间的距离。
• 将DSRM集成到无监督图正则化框架（GraphRegu）中，以在文档上下文中建模提及之间的主题一致性。
• 该方法结合了四种知识类型：实体事实、实体类型、描述和关系，DSRM在全部四种知识类型上进行训练以实现最佳性能（DSRM 1234）。
• 使用标准指标如AIDA和tweet数据集上的nDCG和P@1.0对模型进行评估，并与NGD、VSP和M&W基线方法进行比较。

实验结果

研究问题

• RQ1 在语义知识图谱上训练的深度神经网络是否能产生比传统方法（如归一化谷歌距离）更准确的实体相关性评分？
• RQ2 使用知识图谱中的结构化和文本知识是否比仅依赖维基百科锚点链接在度量语义相关性方面更有效？
• RQ3 DSRM捕捉非锚点链接相关语义关系的能力是否能提升实体消歧性能？
• RQ4 DSRM与图正则化的集成如何增强实体消歧中的主题一致性建模？
• RQ5 基于DNN的模型是否能在相关性度量和消歧任务中均优于传统向量空间和概率模型？

主要发现

• 在AIDA新闻数据集上，使用全部四种知识类型的DSRM（DSRM 1234）相比M&W基线方法，消歧错误率相对降低了24.5%。
• 在tweet数据集上，DSRM 1234相比M&W方法实现了19.4%的相对错误率降低。
• DSRM在相关性度量（nDCG@10: 0.74 vs. 0.58）和消歧（P@1.0: 71.72% vs. 69.17%）方面均显著优于NGD和VSP，结果在tweet数据集上表现更优。
• 研究发现，语义知识图谱在相关性度量方面优于维基百科锚点链接，基于KG的NGD和VSP优于其基于维基百科锚点的对应方法（p ≤ 0.05）。
• DSRM在所有测试方法中取得了最高的nDCG@1（0.81）和MAP（0.68）得分，表明其在相关实体排序质量方面表现更优。
• 该模型成功将提及'Middlesbrough'正确消歧为'Middlesbrough F.C.'，相关性得分为0.68，而M&W因正确和错误匹配对的得分均为0.39而失败。