[论文解读] Type-aware Embeddings for Multi-Hop Reasoning over Knowledge Graphs

Zhiwei Hu, Víctor Gutiérrez-Basulto+4 more|arXiv (Cornell University)|May 2, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出 Temp，一种即插即用的模型，通过在消息传递过程中引入类型信息来增强实体和关系表示，从而提升多跳知识图谱推理能力。通过利用实体和关系类型来改进嵌入表示，Temp 在 FB15k-237-V2、FB15k 和 NELL 数据集上的四个最先进查询嵌入模型中，显著提升了泛化能力、演绎推理和归纳推理性能，平均 Hits@10 提升最高达 12.8%。

ABSTRACT

Multi-hop reasoning over real-life knowledge graphs (KGs) is a highly challenging problem as traditional subgraph matching methods are not capable to deal with noise and missing information. To address this problem, it has been recently introduced a promising approach based on jointly embedding logical queries and KGs into a low-dimensional space to identify answer entities. However, existing proposals ignore critical semantic knowledge inherently available in KGs, such as type information. To leverage type information, we propose a novel TypE-aware Message Passing (TEMP) model, which enhances the entity and relation representations in queries, and simultaneously improves generalization, deductive and inductive reasoning. Remarkably, TEMP is a plug-and-play model that can be easily incorporated into existing embedding-based models to improve their performance. Extensive experiments on three real-world datasets demonstrate TEMP's effectiveness.

研究动机与目标

• 为解决现有查询嵌入模型在处理不完整和噪声知识图谱时的局限性，特别是在测试时出现未见实体或关系的归纳推理场景下。
• 利用知识图谱中尚未被充分利用的语义类型信息（如实体和关系类型），以提升查询和实体嵌入的表征能力。
• 设计一种模块化、即插即用的组件，可无缝集成到现有查询嵌入框架中，而无需进行架构重构。
• 通过建模实体、关系及其类型之间的成对依赖关系，提升泛化、演绎和归纳推理性能。
• 在包括实体集不相交的归纳设置在内的多样化基准数据集上，展示一致的性能提升。

提出的方法

• 提出一种类型感知消息传递（Temp）框架，包含两个核心组件：类型感知实体表示（TER）和类型感知关系表示（TRR）。
• TER 通过可学习聚合器聚合类型信息，增强低维空间中的实体嵌入表示。
• TRR 构建全局类型图以丰富关系表示，将类型信息与现有关系和实体类型相结合。
• 在查询路径中的锚点节点与关系之间采用双向消息传递机制，以稳定推理过程，尤其在存在可变节点时表现更优。
• 引入即插即用设计，使 Temp 可轻松集成到 GQE、Q2B、BetaE 和 LogicE 等现有查询嵌入模型中。
• 采用联合嵌入空间，通过对比学习或排序损失联合优化查询和实体表示，以最大化答案与查询嵌入之间的相似度。

实验结果

研究问题

• RQ1 将类型信息整合到实体和关系表示中，是否能提升在不完整知识图谱上的多跳推理性能？
• RQ2 类型感知表示学习在多大程度上增强了归纳推理能力，尤其是在测试时出现训练阶段未见的实体或关系时？
• RQ3 与最先进查询嵌入模型相比，所提出的 Temp 模型在泛化和演绎推理方面表现如何？
• RQ4 增强实体类型与关系类型对整体推理性能的相对贡献分别是什么？
• RQ5 Temp 框架能否作为插件组件被有效且一致地应用于多种现有查询嵌入模型？

主要发现

• 将 Temp 集成到四种最先进模型（GQE、Q2B、BetaE、LogicE）中，在 FB15k-237-V2、FB15k 和 NELL 三个基准数据集上均实现了稳定的性能提升。
• 在 FB15k-237-V2 数据集上，Temp 在归纳设置下将 Hits@10 提升最高达 12.8%，证明了其强大的泛化与归纳推理能力。
• 对关系进行类型增强的表现始终优于仅对实体进行类型增强，两者结合使用时效果最佳，表明关系级别的类型建模在长链推理中更具优势。
• 消融实验确认，同时使用 TER 和 TRR 组件可获得最高 MRR 分数，在 Q2B 数据集上启用两者时性能提升最高达 14.2%。
• 模型在归纳推理方面实现了显著提升，与基线相比，Hits@10 分别在 FB15k-237-V2、FB15k 和 NELL 上提升了 12.2%、6.8%、10.7% 和 12.8%。
• 尽管在否定查询上的增益有限，但结果表明基于类型的表示本质上具有归纳性，因为新实体或关系可通过其类型嵌入被处理而无需重新训练。