[论文解读] KG-GPT: A General Framework for Reasoning on Knowledge Graphs Using Large Language Models

Jiho Kim, Yeonsu Kwon+2 more|arXiv (Cornell University)|Oct 17, 2023

Topic ModelingComputer Science被引用 3

一句话总结

KG-GPT 是一种新颖的框架，通过三阶段流程——句子分割、图检索和推理——利用大语言模型（LLMs）在知识图谱（KGs）上进行推理。它在基于知识图谱的事实验证和问答基准测试中表现出色，优于多个全监督模型，并在多跳推理任务中展现出强大的鲁棒性。

ABSTRACT

While large language models (LLMs) have made considerable advancements in understanding and generating unstructured text, their application in structured data remains underexplored. Particularly, using LLMs for complex reasoning tasks on knowledge graphs (KGs) remains largely untouched. To address this, we propose KG-GPT, a multi-purpose framework leveraging LLMs for tasks employing KGs. KG-GPT comprises three steps: Sentence Segmentation, Graph Retrieval, and Inference, each aimed at partitioning sentences, retrieving relevant graph components, and deriving logical conclusions, respectively. We evaluate KG-GPT using KG-based fact verification and KGQA benchmarks, with the model showing competitive and robust performance, even outperforming several fully-supervised models. Our work, therefore, marks a significant step in unifying structured and unstructured data processing within the realm of LLMs.

研究动机与目标

• 弥合未结构化文本推理与结构化知识图谱（KG）推理之间通过大语言模型（LLMs）的差距。
• 解决 LLM 在 KG 上推理缺乏通用框架的问题，特别是针对复杂、多跳任务。
• 开发一个统一的端到端框架，支持多种 KG 基础任务，如事实验证和问答。
• 通过检索相关子图（证据图）而非仅依赖路径推理，增强 LLM 的推理能力。
• 证明仅使用上下文学习（in-context learning）的 LLM 可有效处理结构化知识而无需微调，并在增加跳数时保持鲁棒性。

提出的方法

• 句子分割：将输入的声明或问题分解为子句，每个子句与一个三元组（头-关系-尾）对齐，以简化推理。
• 图检索：使用 LLM 将子句中的关系映射到知识图谱中可能的关系，检索候选关系池以构建证据图。
• 证据图构建：利用从输入中检索到的关系和实体构建子图（证据图），为推理提供逻辑基础。
• 推理：将检索到的子图作为提示中的上下文，引导 LLM 生成逻辑结论，如声明验证或答案生成。
• 所有阶段均使用上下文学习，以在不微调的情况下最大化 LLM 的推理能力。
• 该框架通过动态检索和组合相关图组件，支持 1 跳和多跳推理。

实验结果

研究问题

• RQ1 LLM 是否能仅通过上下文学习在不微调的情况下有效执行知识图谱上的复杂推理？
• RQ2 与基于路径的推理相比，KG-GPT 的子图检索策略在推理准确性和鲁棒性方面表现如何？
• RQ3 KG-GPT 在多跳推理任务中是否能保持在跳数增加时的强性能？
• RQ4 KG-GPT 是否能在基于 KG 的事实验证和问答基准测试中超越全监督模型？
• RQ5 KG-GPT 的性能对图检索阶段检索的候选关系数量（k）是否敏感？

主要发现

• 在 FactKG 基准测试中，KG-GPT 取得了具有竞争力的性能，当检索前 5 个关系时准确率达到 72.68%，优于多个全监督模型。
• 在 MetaQA 基准测试中，KG-GPT 对 1 跳问题达到 96.3% 的准确率，2 跳为 94.4%，3 跳为 94.0%，表明随着跳数增加，性能下降极小。
• 该框架在所有跳数级别均保持高度鲁棒性，表明其能有效处理复杂多跳推理任务。
• 在关系检索阶段，不同 k 值（1、3、5）下的性能保持稳定，准确率下降极小，且检索到的三元组数量仅适度增加。
• 定性结果证实，KG-GPT 正确检索了相关证据图，并对多样化声明和问题生成了准确预测。
• 检索到的三元组平均数量随 k 增加而上升，但性能未显著下降，表明子图构建高效且可扩展。