[论文解读] Metacognitive Retrieval-Augmented Large Language Models

Yujia Zhou, Zheng Liu+3 more|arXiv (Cornell University)|Feb 18, 2024

Topic Modeling被引用 4

一句话总结

MetaRAG 提出了一种元认知检索增强生成框架，使大型语言模型能够通过三步 introspective（内省）管道自我监控、自我评估并改进其推理过程。通过整合受认知心理学启发的元认知机制，该模型可检测知识融合与推理中的缺陷，在多跳问答基准测试中实现最先进性能，在 2WikiMultiHop 上达到 43.4% 的精确匹配得分。

ABSTRACT

Retrieval-augmented generation have become central in natural language processing due to their efficacy in generating factual content. While traditional methods employ single-time retrieval, more recent approaches have shifted towards multi-time retrieval for multi-hop reasoning tasks. However, these strategies are bound by predefined reasoning steps, potentially leading to inaccuracies in response generation. This paper introduces MetaRAG, an approach that combines the retrieval-augmented generation process with metacognition. Drawing from cognitive psychology, metacognition allows an entity to self-reflect and critically evaluate its cognitive processes. By integrating this, MetaRAG enables the model to monitor, evaluate, and plan its response strategies, enhancing its introspective reasoning abilities. Through a three-step metacognitive regulation pipeline, the model can identify inadequacies in initial cognitive responses and fixes them. Empirical evaluations show that MetaRAG significantly outperforms existing methods.

研究动机与目标

• 为解决检索增强生成（RAG）中的幻觉现象与推理错误，赋予 LLM 内省式自我评估能力。
• 克服现有多次检索方法中固定、预定义推理步骤的局限性，这些方法缺乏错误诊断与纠正机制。
• 将元认知——自我监控、自我评估与自我调节——整合进 RAG，以提升推理的准确度与可靠性。
• 开发一种动态、自适应框架，以在答案生成过程中识别知识充分性、一致性与推理逻辑方面的缺陷。
• 证明元认知调控可显著提升答案质量，且无需依赖复杂的提示工程或除专家模型对齐外的外部监督。

提出的方法

• 提出一种‘认知-元认知’协同架构，其中主 LLM 生成答案，而独立的元认知评论员评估推理质量。
• 采用三步元认知调控管道：(1) 监控以评估置信度与连贯性，(2) 评估以检测知识不足、冲突或推理错误，(3) 规划以启动纠正性检索或推理步骤。
• 使用微调过的专家模型与自然语言蕴涵（NLI）模型，联合评估 LLM 内部知识与外部检索知识的质量。
• 引入基于阈值的机制，仅在置信度低于动态阈值时触发元认知推理，以在成本与性能之间取得平衡。
• 应用思维链（CoT）投票策略与极简、简单的提示，确保评估的鲁棒性与公平性，最大限度减少提示工程偏差。
• 采用标注者与 LLM 的投票机制，根据失败的根本原因将问题分类为四类：知识不足、知识冲突、推理错误与知识不一致。

实验结果

研究问题

• RQ1 元认知机制是否能提升复杂、多跳推理任务中检索增强生成的可靠性与准确性？
• RQ2 LLM 中的自我评估与自我调节相较于固定推理管道，在答案生成中的错误检测与纠正方面有何影响？
• RQ3 专家模型的质量在多大程度上影响元认知框架的性能？
• RQ4 哪些超参数（如置信度阈值、最大迭代轮数）最显著地影响性能与推理成本之间的权衡？
• RQ5 轻量级、极简提示的元认知系统是否能在推理任务中超越复杂、高度工程化的基线？

主要发现

• MetaRAG 在 2WikiMultiHop 基准测试中达到 43.4% 的精确匹配（EM）得分，显著优于 ReAct（21.0%）与 Self-Ask（28.6%）等基线模型。
• 当置信度阈值设为 0.8 时，MetaRAG 在推理时间增至 11.81 秒的情况下仍保持 41.4% 的 EM 得分，表明其在更严格评估下的可扩展性。
• 将最大迭代轮数从 2 增加至 5，使 EM 得分从 42.8% 提升至 43.4%，表明迭代优化可有效提升推理质量。
• 模型性能与元认知评估中所用专家模型的质量呈正相关，证实专家对齐在提升可靠性方面的重要作用。
• 采用极简提示设计（平均 23 个词）与 CoT 投票机制，确保性能稳定且公平，证明性能提升源于元认知机制本身，而非提示复杂度。
• 双评估系统——使用 LLM 评估内部知识，使用 NLI 模型评估外部知识——能有效识别失败的根本原因，从而实现针对性修正。