[论文解读] A Survey on the Memory Mechanism of Large Language Model based Agents

Zeyu Zhang, Xiaohe Bo+7 more|arXiv (Cornell University)|Apr 21, 2024

Topic Modeling被引用 11

一句话总结

本综述分析基于 LLM 的代理中的记忆模块，定义记忆，详细介绍设计策略（来源、形式、操作）、评估与应用，并概述未来方向。

ABSTRACT

Large language model (LLM) based agents have recently attracted much attention from the research and industry communities. Compared with original LLMs, LLM-based agents are featured in their self-evolving capability, which is the basis for solving real-world problems that need long-term and complex agent-environment interactions. The key component to support agent-environment interactions is the memory of the agents. While previous studies have proposed many promising memory mechanisms, they are scattered in different papers, and there lacks a systematical review to summarize and compare these works from a holistic perspective, failing to abstract common and effective designing patterns for inspiring future studies. To bridge this gap, in this paper, we propose a comprehensive survey on the memory mechanism of LLM-based agents. In specific, we first discuss ''what is'' and ''why do we need'' the memory in LLM-based agents. Then, we systematically review previous studies on how to design and evaluate the memory module. In addition, we also present many agent applications, where the memory module plays an important role. At last, we analyze the limitations of existing work and show important future directions. To keep up with the latest advances in this field, we create a repository at \url{https://github.com/nuster1128/LLM_Agent_Memory_Survey}.

研究动机与目标

• 在基于 LLM 的代理中定义记忆并说明其必要性。
• 系统性地对记忆设计进行分类，涵盖来源、形式和操作。
• 评审代理记忆的评估方法并确定最佳实践。
• 调研记忆对代理至关重要的应用并分析局限性。
• 突出记忆驱动代理领域的开放挑战与未来研究方向。

提出的方法

• 界定代理记忆的狭义与广义概念，并将三阶段交互过程（写入、管理、读取）建模。
• 将记忆来源分为 inside-trial、cross-trial 和 external knowledge，并给出现有系统的示例。
• 将记忆形式描述为文本表示或参数化表示，并比较它们的优缺点。
• 解释记忆操作：写入（W）、管理（P）、读取（R）以及与 LLMs（统一进化函数）相关的统一形式。
• 调查评估方法，包括直接任务和间接任务，以及各种应用场景。

Figure 1: The importance of the memory module in LLM-based agents.

实验结果

研究问题

• RQ1 在基于 LLM 的代理中，记忆的组成是什么，以及为什么它对代理的自治和自我进化是必要的？
• RQ2 记忆如何有效实现（来源、形式、操作）并在不同任务中进行评估？
• RQ3 哪些主要应用体现了记忆在基于 LLM 的代理中的重要性？
• RQ4 当前记忆模块的局限性以及未来改进方向是什么？

主要发现

• 记忆对代理-环境交互至关重要，使感知、处理和行动在一个循环中得以实现。
• 记忆可以是窄的（在一次试验内）或广的（跨试验和任务），并结合外部知识。
• 记忆来源包括 inside-trial 信息、cross-trial 信息和 external knowledge，许多系统在不同程度上同时使用三者。
• 记忆形式包括文本表示和参数化表示，每种在可解释性和效率方面各有权衡。
• 记忆操作包括写入、管理和读取，统一的公式通过 LLM 指导代理行动。
• 综述指出局限性并强调未来方向，如参数化记忆、多智能体记忆和终身学习。

Figure 3: (a) Examples of the potential trials in the agent-environment interaction process. (b) Illustration of the memory reading, writing, and management processes, where dotted lines mean that the cross-trial information can be incorporated into the memory module.