[论文解读] A Prompt-Based Knowledge Graph Foundation Model for Universal In-Context Reasoning

Yuanning Cui, Zequn Sun+1 more|arXiv (Cornell University)|Oct 16, 2024

Semantic Web and Ontologies被引用 4

一句话总结

该论文提出KG-ICL，一种基于提示的知识图谱基础模型，可在多种未见过的知识图谱上实现通用的上下文内推理。通过构建与查询相关的提示图，并使用统一分词器实现对实体和关系的泛化，KG-ICL采用两种消息传递网络分别进行提示编码和知识图谱推理，在43个数据集上实现了归纳和直推两种设置下的最先进性能。

ABSTRACT

Extensive knowledge graphs (KGs) have been constructed to facilitate knowledge-driven tasks across various scenarios. However, existing work usually develops separate reasoning models for different KGs, lacking the ability to generalize and transfer knowledge across diverse KGs and reasoning settings. In this paper, we propose a prompt-based KG foundation model via in-context learning, namely KG-ICL, to achieve a universal reasoning ability. Specifically, we introduce a prompt graph centered with a query-related example fact as context to understand the query relation. To encode prompt graphs with the generalization ability to unseen entities and relations in queries, we first propose a unified tokenizer that maps entities and relations in prompt graphs to predefined tokens. Then, we propose two message passing neural networks to perform prompt encoding and KG reasoning, respectively. We conduct evaluation on 43 different KGs in both transductive and inductive settings. Results indicate that the proposed KG-ICL outperforms baselines on most datasets, showcasing its outstanding generalization and universal reasoning capabilities. The source code is accessible on GitHub: https://github.com/nju-websoft/KG-ICL.

研究动机与目标

• 解决现有知识图谱推理模型在多样化知识图谱之间缺乏泛化能力和可迁移性的问题。
• 实现在无需微调或预训练嵌入的情况下，对未见过的实体和关系进行归纳推理。
• 通过聚焦于局部、与查询相关的上下文，利用提示图克服全局关系图的局限性。
• 开发一种统一的表示框架，通过共享的分词方案实现在不同知识图谱之间的泛化。
• 通过上下文学习实现对之前未见过的知识图谱的零样本或少样本推理能力。

提出的方法

• 构建以与查询相关的示例事实为中心的提示图，包括主体和对象之间的邻近实体以及关系路径。
• 引入一种统一分词器，基于到查询主体和对象的最短路径距离，将实体和关系映射到共享的标记类别。
• 在提示编码器中采用以实体为中心和以关系为中心的消息传递机制，利用局部上下文更新表示。
• 使用学习到的提示表示初始化目标知识图中的关系和实体嵌入，用于下游推理。
• 利用初始化表示在完整知识图上执行消息传递，以对查询的候选实体进行打分。
• 通过在提示图中提供少量示例，利用上下文学习实现对未见知识图谱的零样本迁移，无需微调。

Figure 1 : Overview of the in-context KG reasoning foundation model. (A) Given the query and KG, we extract prompt graphs as context for the query relation “player in league”. The entities and relations in the prompt graphs are mapped to the unified tokens. (B) We employ a message passing neural net

实验结果

研究问题

• RQ1 一个单一的基础模型是否能够在不重新训练的情况下泛化到多样化且此前未见过的知识图谱的推理任务？
• RQ2 如何有效捕捉局部、与查询相关的上下文，以在全局关系图之外改进关系表示？
• RQ3 统一分词方案在不同实体和关系词汇表的知识图谱之间实现可迁移性的程度如何？
• RQ4 与传统归纳推理模型相比，基于提示图的上下文学习是否在未见实体和关系上表现更优？
• RQ5 该模型是否能在广泛的真实世界知识图谱上，同时保持在直推和归纳推理设置下的高性能？

主要发现

• KG-ICL在43个不同知识图谱的直推和归纳设置中均优于现有基线模型，展现出强大的泛化能力。
• 在43个数据集的完整候选设置下，模型平均MRR为0.473，H@10为0.638，表明性能稳健。
• 在NELL-995数据集上，KG-ICL的MRR达到0.534，H@10为0.672，在归纳推理任务中优于先前方法。
• 在Metafam数据集上，KG-ICL的MRR和H@10均达到1.000，展现出在具有挑战性的开放世界基准上的卓越性能。
• 该模型在包含数百万条事实的大规模数据集上仍保持优异性能，证实了其可扩展性和效率。
• 消融实验表明，提示图和统一分词器对泛化至关重要，移除后性能显著下降。

Figure 2 : MRR results on various KGs.