[论文解读] From Static to Dynamic: A Continual Learning Framework for Large Language Models

Mingzhe Du, Anh Tuan Luu+2 more|arXiv (Cornell University)|Oct 22, 2023

Topic Modeling被引用 4

一句话总结

DynaMind 是一种持续学习框架，使大型语言模型（LLMs）能够动态整合新知识，而无需参数微调，通过记忆管理器实现知识的存储与检索，并利用模块化算子进行推理。该框架显著提升了 LLM 在复杂推理（使用 GPT-4 时准确率最高达 92.5%）、可信度感知（5 个训练周期后可信度比率达 84.5%）以及知识操作（包括删除）方面的能力，Falcon-40B 模型在知识删除任务中取得 74.0/100 的得分。

ABSTRACT

The vast number of parameters in large language models (LLMs) endows them with remarkable capabilities, allowing them to excel in a variety of natural language processing tasks. However, this complexity also presents challenges, making LLMs difficult to train and inhibiting their ability to continuously assimilate new knowledge, which may lead to inaccuracies in their outputs. To mitigate these issues, this paper presents DynaMind, a novel continual learning framework designed for LLMs. DynaMind incorporates memory mechanisms to assimilate new knowledge and modular operators to enhance the model inference process with the newly assimilated knowledge, consequently improving the accuracies of LLMs' outputs. Benchmark experiments demonstrate DynaMind's effectiveness in overcoming these challenges. The code and demo of DynaMind are available on GitHub: https://github.com/Elfsong/DynaMind.

研究动机与目标

• 解决大型语言模型（LLMs）的静态特性问题，该问题限制了其在预训练后持续学习新知识的能力。
• 通过在不微调模型参数的情况下实现动态知识整合，克服 LLM 中的灾难性遗忘与幻觉问题。
• 通过基于记忆增强的模块化推理架构，赋予 LLM 类似人类的持续学习能力。
• 使 LLM 能够在长期记忆中自主评估知识可信度、更新、创建和删除知识。
• 在三个核心能力上验证该框架的有效性：复杂推理、可信度感知与知识操作。

提出的方法

• 提出由三个组件构成的架构：推理引擎、记忆管理器与模块化算子，实现动态知识整合。
• 在推理引擎中使用先进先出（FIFO）优先级队列来管理算子执行顺序，维持任务流程。
• 实现一种记忆机制，根据上下文相关性与可信度评分存储、检索并更新知识。
• 采用提示工程与结构化模板，将 LLM 输出转化为可解释的命令元组（算子，参数）。
• 采用知识代谢过程，通过反事实验证迭代评估并优化知识可信度。
• 使用外部知识源（如 WikiNews、SciFact、ComplexWebQA）注入新知识，并评估知识吸收性能。

实验结果

研究问题

• RQ1 无参数的持续学习框架能否提升 LLM 在动态获取知识背景下的复杂多跳推理能力？
• RQ2 DynaMind 在多大程度上能自主评估并提升长期记忆中存储知识的可信度？
• RQ3 DynaMind 在不修改 LLM 参数的情况下，能否有效支持知识的创建、更新与删除？
• RQ4 该框架是否通过记忆增强推理减轻了幻觉现象，并提升了 LLM 输出的事实一致性？
• RQ5 在不同 LLM（如 GPT-4、Falcon-40B、Llama-30B）上，DynaMind 在持续学习任务中的表现如何比较？

主要发现

• 借助 DynaMind，OpenAI 的 GPT-4 在复杂知识驱动推理任务（ComplexWebQA）上的准确率达到 92.5%，而未使用外部记忆时仅为 16.0%。
• 经过 5 个训练周期的知识代谢后，GPT-4 在 84.5% 的情况下能正确识别原始陈述而非反事实陈述，表明其具备强大的可信度感知能力。
• Falcon-40B 在知识删除任务中表现优于 GPT-4，得分达 74.0/100，高于 GPT-4 的 71.5，表明其具备更优的知识修剪能力。
• DynaMind 使 Falcon-40B 在知识推理任务中达到 85.0% 的准确率，显著优于其基础准确率 17.5%（无记忆增强时）。
• 该框架通过在推理过程中调用并利用存储的、上下文相关的知识，减少了幻觉现象。
• 即使模型参数量仅为 GPT-3.5 的四分之一，Falcon-40B 在可信度感知任务中表现与之相当（3 个训练周期后为 72.5% vs. 48.5%），展现出显著的效率优势。