[论文解读] Inferring Missing Entity Type Instances for Knowledge Base Completion: New Dataset and Methods

Arvind Neelakantan, Ming‐Wei Chang|arXiv (Cornell University)|Apr 24, 2015

Topic Modeling参考文献 27被引用 17

一句话总结

本文提出了一种新颖的框架，用于通过使用新构建的大规模数据集和结合实体侧与类型侧负样本的全局训练目标，推断知识库中缺失的实体类型实例。该方法在各类别中均实现了更高的排序质量，线性模型与低维嵌入模型在所提出的评估指标上表现更优，人工评估也证实了预测结果的正确性，包括在提交时仍缺失于Freebase的17个事实。

ABSTRACT

Most of previous work in knowledge base (KB) completion has focused on the problem of relation extraction. In this work, we focus on the task of inferring missing entity type instances in a KB, a fundamental task for KB competition yet receives little attention. Due to the novelty of this task, we construct a large-scale dataset and design an automatic evaluation methodology. Our knowledge base completion method uses information within the existing KB and external information from Wikipedia. We show that individual methods trained with a global objective that considers unobserved cells from both the entity and the type side gives consistently higher quality predictions compared to baseline methods. We also perform manual evaluation on a small subset of the data to verify the effectiveness of our knowledge base completion methods and the correctness of our proposed automatic evaluation method.

研究动机与目标

• 解决知识库不完整背景下缺失实体类型实例推断这一研究不足的问题。
• 利用Freebase的两个快照和Wikipedia构建大规模、真实的基准数据集，以支持缺失事实预测的评估。
• 设计一种全局评估指标，考虑类型分布的差异，支持跨类型的排序评估。
• 开发一种全局训练目标，结合来自实体侧和类型侧的负样本，以提升模型泛化能力。
• 通过自动评估与人工评估验证所提方法的有效性，包括检测在Freebase中仍缺失的事实。

提出的方法

• 使用Freebase的两个快照和Wikipedia构建数据集，其中训练数据包含早期快照中的事实，测试数据包含后期快照中新添加的事实。
• 采用一种全局评估指标，综合考虑各类别内与类别间的性能表现，并考虑类型分布不均衡的问题。
• 使用一种全局目标函数进行模型训练，该函数同时整合了来自实体侧（未观察到的实体-类型对）和类型侧（未观察到的类型-实体对）的负样本。
• 应用线性分类器与低维嵌入模型，特征来源于实体描述与Wikipedia内容。
• 采用Adagrad优化算法，结合基于边距的损失函数，在全局目标下训练模型，以提升排序质量。
• 对前100名预测结果进行人工评估，以验证自动评估与人工判断之间的一致性。

实验结果

研究问题

• RQ1 与基线方法相比，结合来自实体侧和类型侧负样本的全局训练目标是否能提升缺失实体类型预测的质量？
• RQ2 在反映多样化且分布不均的类型分布下，所提出的全局评估指标与标准的基于类型的指标相比，其在衡量模型性能方面表现如何？
• RQ3 模型性能在多大程度上依赖于每类别的训练实例数量？主动学习是否能缓解此问题？
• RQ4 自动评估得分在多大程度上与人工判断相关，以识别缺失事实？
• RQ5 是否存在特定特征——尤其是来自Wikipedia的特征——能显著提升缺失实体类型的预测准确率？

主要发现

• 使用全局目标训练的模型优于仅使用实体侧或类型侧负样本训练的模型，在各类别内与跨类别中均实现了更优的排序质量。
• 在线性分类器模型上，MAP与GAP指标的表现优于低维嵌入模型，尽管嵌入模型在NLP中广泛应用。
• 自动评估指标与人工评估结果高度相关，验证了其在大规模模型评估中的可靠性。
• 在179个经人工评估的预测中，有17个事实在提交时仍缺失于Freebase，证实了该方法识别真实世界缺失知识的能力。
• 性能在不同类型频率下差异显著：线性模型在最频繁的35类上比在最不频繁的35类上表现高出24.86%，表明需要主动学习或自举方法。
• 浅层语言特征（如关键词匹配）可能导致误报，例如当出现"movie"和"composer"等词时，会引发错误的类型预测。