[论文解读] KAG: Boosting LLMs in Professional Domains via Knowledge Augmented Generation

Lei Liang, Mengshu Sun+17 more|arXiv (Cornell University)|Sep 10, 2024

Semantic Web and Ontologies被引用 5

一句话总结

KAG 将知识图谱与检索增强生成结合，在专业领域提升大型语言模型的推理能力，在多跳问答基准测试和蚂蚁集团真实任务中显著超过基线 RAG 的表现。

ABSTRACT

The recently developed retrieval-augmented generation (RAG) technology has enabled the efficient construction of domain-specific applications. However, it also has limitations, including the gap between vector similarity and the relevance of knowledge reasoning, as well as insensitivity to knowledge logic, such as numerical values, temporal relations, expert rules, and others, which hinder the effectiveness of professional knowledge services. In this work, we introduce a professional domain knowledge service framework called Knowledge Augmented Generation (KAG). KAG is designed to address the aforementioned challenges with the motivation of making full use of the advantages of knowledge graph(KG) and vector retrieval, and to improve generation and reasoning performance by bidirectionally enhancing large language models (LLMs) and KGs through five key aspects: (1) LLM-friendly knowledge representation, (2) mutual-indexing between knowledge graphs and original chunks, (3) logical-form-guided hybrid reasoning engine, (4) knowledge alignment with semantic reasoning, and (5) model capability enhancement for KAG. We compared KAG with existing RAG methods in multihop question answering and found that it significantly outperforms state-of-theart methods, achieving a relative improvement of 19.6% on 2wiki and 33.5% on hotpotQA in terms of F1 score. We have successfully applied KAG to two professional knowledge Q&A tasks of Ant Group, including E-Government Q&A and E-Health Q&A, achieving significant improvement in professionalism compared to RAG methods.

研究动机与目标

• 通过并用显式 KG 语义和推理以及基于检索的大语言模型，推动改进的领域知识服务。
• 开发面向 LLM 的知识表示以及图与文本块之间的互索引，以提升检索和规划。
• 创建一个以逻辑形式引导的混合求解器，将规划、推理和检索统一用于复杂的多跳问题。
• 离线和在线对齐知识语义，以在专业领域提升准确性并降低噪声。
• 在多跳问答基准和行业应用（政务电子化 E-Government 与健康电子化 E-Health）上展示有效性。

提出的方法

• 提出 LLMFriSPG，这是一个面向 LLM 的知识表示框架，区分实例与概念，并实现与文本块的互索引。
• 引入一个以逻辑形式引导的混合求解引擎，具备规划、推理和检索算子，用以融合知识图谱推理、语言推理与数值计算。
• 通过语义推理实现知识对齐，将离线领域知识（KG 约束）与在线检索连接起来。
• 增强一个总体的 KAG 模型，强化 NLU、NLI 和 NLG 能力，以支持框架的各模块。
• 采用三部分的 KAG 流水线：KAG-Builder 用于离线索引，KAG-Solver 用于推理，KAG-Model 用于特定模态能力。
• 在 2WikiMultiHopQA、MuSiQue 和 HotpotQA 上验证，F1 相对于 HippoRAG 显著提升；并部署在蚂蚁集团的 E-Government 与 E-Health 问答任务中。

实验结果

研究问题

• RQ1 如何将知识图谱与向量检索整合，以提高 LLM 在领域特定推理中的表现？
• RQ2 以逻辑形式引导的混合引擎是否能够在多跳和跨段落的问答任务中超越传统的 RAG？
• RQ3 面向 LLM 的知识表示和语义对齐对专业领域的检索准确性和推理可靠性有何影响？
• RQ4 与现有的 RAG 基线相比，KAG 在真实世界的专业问答任务中的表现如何？
• RQ5 本地原生集成 KAG 与开源知识图谱引擎以实现更广泛应用的实际步骤有哪些？

主要发现

• KAG 在多跳问答基准上超越最先进的基线，在 2WikiMultiHopQA 上相对 F1 提升 19.6%、在 MuSiQue 上提升 12.2%、在 HotpotQA 上提升 12.5%。
• 检索指标在所评估的任务中也显示出明显优于 HippoRAG 的提升。
• KAG 在蚂蚁集团的 E-Government 和 E-Health 问答任务中达到显著高于传统 RAG 方法的准确性。
• 计划在 OpenSPG 上原生支持 KAG，便于本地开发领域知识服务。
• 该框架表明，利用 KG 语义与符号逻辑形式在专业领域提升了生成质量与确定性推理。