[论文解读] Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs

Yifei Zhang, Xintao Wang+4 more|arXiv (Cornell University)|Jun 30, 2024

Topic Modeling被引用 4

一句话总结

本文提出链式知识（Chain-of-Knowledge, CoK）框架，通过从知识图谱（KGs）中学习，增强大语言模型（LLMs）的知识推理能力。该研究引入了KnowReason数据集，该数据集通过规则挖掘和自然语言转换生成，并采用试错机制缓解规则过拟合问题，在知识推理与通用推理基准测试中显著提升LLM性能，包括分布外（OOD）泛化和常识推理任务。

ABSTRACT

Large Language Models (LLMs) have exhibited impressive proficiency in various natural language processing (NLP) tasks, which involve increasingly complex reasoning. Knowledge reasoning, a primary type of reasoning, aims at deriving new knowledge from existing one.While it has been widely studied in the context of knowledge graphs (KGs), knowledge reasoning in LLMs remains underexplored. In this paper, we introduce Chain-of-Knowledge, a comprehensive framework for knowledge reasoning, including methodologies for both dataset construction and model learning. For dataset construction, we create KnowReason via rule mining on KGs. For model learning, we observe rule overfitting induced by naive training. Hence, we enhance CoK with a trial-and-error mechanism that simulates the human process of internal knowledge exploration. We conduct extensive experiments with KnowReason. Our results show the effectiveness of CoK in refining LLMs in not only knowledge reasoning, but also general reasoning benchmarkms.

研究动机与目标

• 解决知识推理在大语言模型（LLMs）中尚未充分探索的整合问题，这对复杂推理任务至关重要。
• 通过从知识图谱中挖掘组合规则并将其转换为自然语言样本，构建高质量、多样化的数据集KnowReason。
• 缓解LLMs在知识推理训练过程中因规则过拟合和幻觉导致的泛化能力受限问题，特别是对未见规则的泛化能力。
• 提升LLM在分布外（OOD）推理任务中的泛化能力，并增强其在知识推理以外的其他推理基准任务中的迁移能力。

提出的方法

• 通过三阶段流程构建数据集：(1) 从知识图谱中挖掘规则，提取组合关系模式；(2) 进行知识选择，识别符合挖掘规则的关联三元组；(3) 生成样本，将三元组转换为自然语言推理示例。
• 采用行为克隆方法对LLMs进行微调，以在KnowReason数据集上学习模仿推理链。
• 在CoK中引入试错机制（T&E），模拟人类内部知识探索过程，减少对特定规则的过度依赖，提升模型鲁棒性。
• 采用匿名化与常规设置进行评估：匿名化设置以防止数据泄露，常规设置用于测试真实世界应用场景下使用真实实体的适用性。
• 将CoK框架应用于下游推理任务，包括常识推理（CSQA）、BBH和ARC，以评估其迁移能力。
• 实施知识探针机制，确保在常规设置下模型特定数据的存在，防止评估过程中发生数据泄露。

实验结果

研究问题

• RQ1 能否通过利用知识图谱中的结构化知识，有效将知识推理整合到大语言模型中？
• RQ2 规则过拟合如何影响LLMs在知识推理中的表现？是否可通过类人学习机制加以缓解？
• RQ3 CoK框架在分布外（OOD）推理任务中的泛化能力提升程度如何？
• RQ4 CoK框架是否能提升LLMs在知识推理以外的多样化推理基准任务中的表现，例如常识推理或符号推理？

主要发现

• 在匿名化设置下，CoK (T&E) 在OOD数据集上达到22.22%的准确率，显著优于基线模型CoT（0.00%）和ICL-CoK（6.20%），证明其泛化能力得到提升。
• 在常规设置下，CoK (T&E) 在OOD数据集上同样达到22.22%的准确率，表明其对真实世界实体数据具有鲁棒性，且对特定规则的依赖性降低。
• 在常识推理基准测试中，Mistral-7b + CoK (T&E) 将CSQA准确率从66.5%提升至68.1%，BBH从53.2%提升至54.7%，ARC-e从81.2%提升至82.3%，表明其具备强大的迁移能力。
• 错误分析显示，在OOD设置下，模型错误主要源于错误的推理路径，而非事实幻觉，凸显了路径选择在泛化中的关键作用。
• CoK (T&E) 中的试错机制显著减少了规则过拟合，表现为OOD性能更优且在实体选择过程中幻觉率更低。
• 通过规则挖掘与自然语言转换构建的KnowReason数据集，可有效支持LLMs的知识推理训练与评估，提供多样化且真实的推理链。