[论文解读] KG-RAG: Bridging the Gap Between Knowledge and Creativity

Diego Sanmartin|arXiv (Cornell University)|May 20, 2024

Digital Innovation in Industries被引用 16

一句话总结

KG-RAG 将知识图谱与检索增强生成结合，以减少幻觉并提高基于LLM的代理的知识驱动推理。它为从未结构化文本学习的 KG 引入 Chain of Explorations (CoE) 用于 KGQA。

ABSTRACT

Ensuring factual accuracy while maintaining the creative capabilities of Large Language Model Agents (LMAs) poses significant challenges in the development of intelligent agent systems. LMAs face prevalent issues such as information hallucinations, catastrophic forgetting, and limitations in processing long contexts when dealing with knowledge-intensive tasks. This paper introduces a KG-RAG (Knowledge Graph-Retrieval Augmented Generation) pipeline, a novel framework designed to enhance the knowledge capabilities of LMAs by integrating structured Knowledge Graphs (KGs) with the functionalities of LLMs, thereby significantly reducing the reliance on the latent knowledge of LLMs. The KG-RAG pipeline constructs a KG from unstructured text and then performs information retrieval over the newly created graph to perform KGQA (Knowledge Graph Question Answering). The retrieval methodology leverages a novel algorithm called Chain of Explorations (CoE) which benefits from LLMs reasoning to explore nodes and relationships within the KG sequentially. Preliminary experiments on the ComplexWebQuestions dataset demonstrate notable improvements in the reduction of hallucinated content and suggest a promising path toward developing intelligent systems adept at handling knowledge-intensive tasks.

研究动机与目标

• 在知识密集型任务中，激发并解决基于LLM的代理在事实不准确（幻觉）和内存限制方面的挑战。
• 提出一个 KG-RAG 流水线，从未结构化文本构建同质化的知识图谱，并使用 KGQA 进行基于证据的推理的 grounded。
• 通过整合外部、可更新的知识图谱，减少对潜在LLM知识的依赖。
• 引入一种新型检索算法 Chain of Explorations (CoE)，以在 KG 中导航以获得精准答案。

提出的方法

• 存储：使用六-shot 提示的 LLM 从文本中提取 (entity, relation, entity) 三元组，并为嵌套关系构建三元组超节点；将其存储在带嵌入的向量存储的 KG 中。
• 检索：在 KG 上应用 Chain of Explorations (CoE)，由计划、KG 查找（vectorDB 和 Cypher 查询）和评估引导，以选择相关路径。
• 答案生成：使用受限仅依赖 KG 派生上下文的 LLM 生成答案，采用标准的 RAG 提示。
• KG 构建细节：定义三元组超节点以建模嵌套结构，在单个节点内实现多层关系；为所有节点/超节点/关系进行嵌入以实现密集检索。
• 实验设置：使用 ComplexWebQuestions 数据集、NebulaGraph 作为 KG 存储、在 Redis 中的 SentenceTransformer 嵵嵊？的嵌入，以及用于 LLM 的 GPT-4 Turbo 1106-Preview；并以 EM、F1、Accuracy 和 Hallucination 指标评估。

Figure 1: shows the three core components of an AI agent: perception, brain, and action. The brain component integrates LLMs for dynamic reasoning and decision-making, alongside KGs for structured knowledge and memory storage.

实验结果

研究问题

• RQ1 与传统的 RAG 方法相比，KG-RAG 是否能在知识密集型任务上提升事实基准并减少幻觉？
• RQ2 Chain of Explorations (CoE) 检索方法是否能有效导航 KG 以支持准确的 KGQA？
• RQ3 在 ComplexWebQuestions 上，KG-RAG 的 EM、F1、准确率和幻觉率与基于嵌入的 RAG 方法相比表现如何？

主要发现

模型	EM	F1 得分	准确率	幻觉
Human	63	-	-	-
MHQA-GRN	33.2	-	-	-
Embedding-RAG	28	37	46	30
KG-RAG	19	25	32	15

• KG-RAG 在 CWQ 上实现 EM 19%、F1 25%、Accuracy 32%、Hallucination 15%，相比某些基本线显示出事实基底的改进，但在精确指标上落后于顶尖模型。
• 与 Embedding-RAG 相比，KG-RAG 的 EM（19% 对 28%）和 F1（25% 对 37%）、Accuracy（32% 对 46%）更低，但幻觉率显著降低（15% 对 30%）。
• 平均 Chain of Explorations 遍历了 4–5 步以到达答案节点，体现了迭代的 KG 指导检索过程。
• 该方法展示了动态、结构化知识（KGs）相对于纯密集检索在解决复杂多跳问题上的潜在利益，尽管在效率和覆盖率方面仍有提升空间。
• 局限性包括 KG 构建过程中的数据质量和成本约束，以及由于片段选择导致未能识别部分起始节点的问题。

(a)