[论文解读] Joint Semantics and Data-Driven Path Representation for Knowledge Graph Inference

Guanglin Niu, Bo Li+5 more|arXiv (Cornell University)|Oct 6, 2020

Advanced Graph Neural Networks参考文献 34被引用 4

一句话总结

该论文提出了一种联合语义与数据驱动的路径表示模型，用于知识图谱推理，结合了可解释的霍恩规则（Horn rule）路径组合与实体转换器，以减少实体与关系之间的异质性。通过整合语义路径压缩与注意力表示学习，该模型在链接预测与路径查询回答任务上达到最先进性能，在 NELL-995 数据集上的 Hits@1 达到 0.987。

ABSTRACT

Inference on a large-scale knowledge graph (KG) is of great importance for KG applications like question answering. The path-based reasoning models can leverage much information over paths other than pure triples in the KG, which face several challenges: all the existing path-based methods are data-driven, lacking explainability for path representation. Besides, some methods either consider only relational paths or ignore the heterogeneity between entities and relations both contained in paths, which cannot capture the rich semantics of paths well. To address the above challenges, in this work, we propose a novel joint semantics and data-driven path representation that balances explainability and generalization in the framework of KG embedding. More specifically, we inject horn rules to obtain the condensed paths by the transparent and explainable path composition procedure. The entity converter is designed to transform the entities along paths into the representations in the semantic level similar to relations for reducing the heterogeneity between entities and relations, in which the KGs both with and without type information are considered. Our proposed model is evaluated on two classes of tasks: link prediction and path query answering task. The experimental results show that it has a significant performance gain over several different state-of-the-art baselines.

研究动机与目标

• 解决现有数据驱动路径知识图谱推理模型缺乏可解释性的问题。
• 克服现有方法在路径表示中对实体与关系处理不对称的局限性。
• 通过联合建模知识图谱中的语义与数据驱动模式，改进路径表示。
• 通过霍恩规则实现人类可理解的推理，支持有效的路径查询回答。
• 通过统一的实体转换策略，支持具有与不具有实体类型信息的知识图谱。

提出的方法

• 利用霍恩规则通过透明的路径组合方式，将路径压缩为可解释的关系。
• 设计一种实体转换器，将路径上的实体映射为与关系相似的语义表示，以减少异质性。
• 为具有类型信息的知识图谱实现注意力型实体到类型转换模块，为无类型信息的知识图谱实现投影模块。
• 采用双向路径编码器，从实体与关系的序列中学习路径表示。
• 融合多个实体对之间的路径表示，以提升嵌入质量。
• 使用基于边际的损失函数进行端到端训练，该函数同时结合了平移距离与语义相似性。

实验结果

研究问题

• RQ1 联合语义与数据驱动的路径表示能否提升知识图谱推理中的可解释性与性能？
• RQ2 与仅基于关系的模型相比，将实体与关系同时纳入路径表示，对路径表示质量有何影响？
• RQ3 霍恩规则在实现透明、基于规则的路径组合方面，能在多大程度上支持准确推理？
• RQ4 所提出的实体转换器在减少路径表示中实体与关系之间异质性方面效果如何？
• RQ5 该模型在具有与不具有类型注释的知识图谱上是否具备良好的泛化能力？

主要发现

• 在 NELL-995 数据集上，该模型在路径查询回答任务中的 Hits@1 得分为 0.987，表明正确关系预测的准确率达到 98.7%。
• 该模型在链接预测与路径查询回答任务上均持续优于当前最先进基线模型，包括 PTransE 与 TransE。
• 基于霍恩规则的路径组合支持人类可理解的推理，例如一个示例中通过置信度为 1 的规则正确推断出关系。
• 实体转换策略有效降低了实体与关系之间的异质性，提升了路径表示学习效果。
• 多个实体对之间路径表示的融合，带来了更鲁棒且更准确的嵌入表示。
• 该模型展现出强大的泛化能力，在具有与不具有实体类型信息的知识图谱上均表现良好。