[论文解读] Does William Shakespeare REALLY Write Hamlet? Knowledge Representation Learning with Confidence

Ruobing Xie, Zhiyuan Liu+2 more|arXiv (Cornell University)|May 9, 2017

Advanced Graph Neural Networks参考文献 22被引用 23

一句话总结

本文提出了一种自信感知的知识表示学习框架（CKRL），通过仅利用内部结构信息学习三元组置信度，检测知识图谱中的噪声。通过将局部和全局结构信号整合到基于翻译的模型中，CKRL在噪声检测、知识图谱补全和三元组分类任务中均取得性能提升，且在不同噪声水平下均保持一致的增益。

ABSTRACT

Knowledge graphs (KGs), which could provide essential relational information between entities, have been widely utilized in various knowledge-driven applications. Since the overall human knowledge is innumerable that still grows explosively and changes frequently, knowledge construction and update inevitably involve automatic mechanisms with less human supervision, which usually bring in plenty of noises and conflicts to KGs. However, most conventional knowledge representation learning methods assume that all triple facts in existing KGs share the same significance without any noises. To address this problem, we propose a novel confidence-aware knowledge representation learning framework (CKRL), which detects possible noises in KGs while learning knowledge representations with confidence simultaneously. Specifically, we introduce the triple confidence to conventional translation-based methods for knowledge representation learning. To make triple confidence more flexible and universal, we only utilize the internal structural information in KGs, and propose three kinds of triple confidences considering both local and global structural information. In experiments, We evaluate our models on knowledge graph noise detection, knowledge graph completion and triple classification. Experimental results demonstrate that our confidence-aware models achieve significant and consistent improvements on all tasks, which confirms the capability of CKRL modeling confidence with structural information in both KG noise detection and knowledge representation learning.

研究动机与目标

• 为解决传统知识表示学习（KRL）方法假设所有训练三元组均无噪声的局限性。
• 在表示学习过程中检测并缓解知识图谱（KGs）中的噪声或冲突事实。
• 开发一种自信感知的KRL框架，仅依赖内部结构信息进行三元组置信度估计，避免对外部监督的依赖。
• 提升在噪声训练数据下知识驱动任务（如知识图谱补全和三元组分类）的鲁棒性。
• 实现自信感知学习在现实世界知识构建流水线中的实际应用。

提出的方法

• 在基于翻译的KRL模型中引入三元组置信度作为动态权重，根据三元组的结构特性为其分配置信度分数。
• 定义三种三元组置信度：基于邻域结构的局部置信度、基于实体间全局路径的路径置信度，以及结合局部与路径信息的综合置信度。
• 采用基于翻译的模型框架（如TransE），但修改损失函数，以三元组的置信度分数加权每个三元组。
• 通过结构模式（如路径一致性与邻域密度）优化置信度分数，无需外部数据或标注。
• 采用基于阈值的分类策略进行三元组分类，其中自信感知的表示可改善决策边界。
• 采用过滤协议生成负三元组，并在验证集上调整置信度阈值以最大化分类准确率。

实验结果

研究问题

• RQ1 在无外部监督的情况下，自信感知的知识表示学习能否提升知识图谱中的噪声检测能力？
• RQ2 内部结构信息（局部与全局）在估计三元组置信度并提升KRL鲁棒性方面有多高效？
• RQ3 在知识图谱补全和三元组分类等下游任务中，引入三元组置信度是否能带来一致的性能提升？
• RQ4 随着训练数据中噪声率的增加，CKRL的性能如何变化？
• RQ5 所提出的置信度估计框架能否推广至现实世界的知识构建工作流？

主要发现

• CKRL在所有测试噪声水平下均显著且一致地提升了知识图谱的噪声检测性能，优于基线模型。
• 在知识图谱补全任务中，CKRL模型表现显著提升，尤其在高噪声条件下，FB15K-N3数据集上Hits@10（Filter）相比TransE最高提升3.5%。
• 在三元组分类任务中，CKRL模型的准确率高于TransE，在噪声率较高的数据集中提升达1.0–1.5%。
• 该模型的置信度估计具有鲁棒性和泛化能力，因其完全依赖知识图谱内部结构，无需外部标注，适用于现实世界知识图谱。
• 消融实验表明，结合局部与路径置信度（LT+PP+AP）在所有任务中均表现出最稳定且高效的性能。
• 即使在高噪声率下（如FB15K-N3中的30%），CKRL仍保持强劲性能，表明其在现实世界知识构建流水线中的应用潜力。