[论文解读] keqing: knowledge-based question answering is a nature chain-of-thought mentor of LLM

Chaojie Wang, Yishi Xu+6 more|arXiv (Cornell University)|Dec 31, 2023

Topic Modeling被引用 4

一句话总结

该论文提出 Keqing，一种基于知识的问答框架，利用结构化知识图谱推理路径作为自然思维链（CoT）导师，引导大型语言模型（LLMs）逐步解决复杂问题。通过模板将问题分解为子问题，检索相关知识图谱三元组，并对候选实体进行推理，Keqing 显著提升了答案的可靠性与可解释性，在 MetaQA 上达到 SOTA 性能（1跳为 98.4 Hits@1，3跳为 99.6），在 WebQSP 上达到 74.9 F1。

ABSTRACT

Large language models (LLMs) have exhibited remarkable performance on various natural language processing (NLP) tasks, especially for question answering. However, in the face of problems beyond the scope of knowledge, these LLMs tend to talk nonsense with a straight face, where the potential solution could be incorporating an Information Retrieval (IR) module and generating response based on these retrieved knowledge. In this paper, we present a novel framework to assist LLMs, such as ChatGPT, to retrieve question-related structured information on the knowledge graph, and demonstrate that Knowledge-based question answering (Keqing) could be a nature Chain-of-Thought (CoT) mentor to guide the LLM to sequentially find the answer entities of a complex question through interpretable logical chains. Specifically, the workflow of Keqing will execute decomposing a complex question according to predefined templates, retrieving candidate entities on knowledge graph, reasoning answers of sub-questions, and finally generating response with reasoning paths, which greatly improves the reliability of LLM's response. The experimental results on KBQA datasets show that Keqing can achieve competitive performance and illustrate the logic of answering each question.

研究动机与目标

• 通过将回答基于知识图谱中的事实知识，解决 LLM 在问答过程中产生幻觉的问题。
• 提升 LLM 在复杂问答任务中生成答案的可靠性与可解释性。
• 探究基于知识的问答是否可自然地作为 LLM 的思维链导师。
• 开发一种可扩展、自动化的框架，利用预先收集的知识图谱链路引导 LLM 通过逻辑推理路径。
• 在 KBQA 基准测试中超越现有的检索增强和基于文本到 SQL 的 LLM 方法。

提出的方法

• 使用预定义的自然语言模板将复杂问题分解为子问题，使 LLM 更容易学习逻辑分解。
• 采用知识检索模块，基于子问题从知识图谱中检索相关三元组，确保高质量、事实准确的上下文。
• 使用候选推理模块，通过分解组件之间的依赖关系，迭代选择正确的实体。
• 通过显式推理路径生成最终回答，增强答案过程的可解释性与可追溯性。
• 将预先收集的知识图谱逻辑链视为自然思维链监督信号，避免人工构造或基于 SQL 的 CoT 构建。
• 支持 LLaMA 和 ChatGPT 作为 LLM 的主干模型，实现对不同模型能力的评估。

Figure 1: The workflow of Keqing applied for KBQA mainly consists of four stages: #1 Question Decomposition : decompose a complex question into several sub-questions according to predefined question templates; #2 Knowledge Retrieval : retrieve candidate entities on the knowledge graph by aligning de

实验结果

研究问题

• RQ1 基于知识图谱的知识问答能否自然地作为 LLM 的思维链导师？
• RQ2 与直接生成逻辑链（如 SQL 类似）相比，使用自然语言模板进行问题分解是否能显著提升 LLM 的推理性能？
• RQ3 每个子问题检索的提问模板数量如何影响整体 KBQA 性能？
• RQ4 该框架能否在保持可解释推理路径的同时实现 SOTA 结果？
• RQ5 使用结构化知识图谱链路是否能减少 LLM 回答中的幻觉并提升事实一致性？

主要发现

• Keqing 在 MetaQA 基准测试中达到新 SOTA，1跳为 98.4 Hits@1，2跳为 99.9，3跳为 99.6。
• Keqing-ChatGPT 在 WebQSP 上达到 74.9 F1，优于其他基于 LLM 的 KBQA 方法，证明了该框架工作流的优越性。
• Keqing 的性能随每个子问题检索的提问模板数量增加而提升，但在达到中等值后因上下文过载而下降。
• 通过自然语言模板进行问题分解，显著优于直接生成逻辑链（如 SQL 类似）的方法，表明 LLM 更能与文本分解对齐。
• Keqing 利用预先收集的知识图谱推理路径作为 CoT 导师，相比启发式或端到端 CoT 方法，能生成更可靠、更可解释的推理过程。
• 消融实验证实，该框架的模块化设计——尤其是分解与检索阶段——在性能与鲁棒性方面起着关键作用。

Figure 2: The pipeline of aligning decomposed sub-questions to executable logical chains on KG, where each sub-question will be mapped to a set of logical chains of top-K relevant question templates.