[論文レビュー] A Survey on the Memory Mechanism of Large Language Model based Agents

Zeyu Zhang, Xiaohe Bo+7 more|arXiv (Cornell University)|Apr 21, 2024

Topic Modeling被引用数 11

ひとこと要約

本調査は、LLMベースのエージェントにおけるメモリーモジュールを分析し、メモリの定義、設計戦略の詳細（情報源、形態、操作）、評価、および応用を明らかにし、将来の方向性を概説する。

ABSTRACT

Large language model (LLM) based agents have recently attracted much attention from the research and industry communities. Compared with original LLMs, LLM-based agents are featured in their self-evolving capability, which is the basis for solving real-world problems that need long-term and complex agent-environment interactions. The key component to support agent-environment interactions is the memory of the agents. While previous studies have proposed many promising memory mechanisms, they are scattered in different papers, and there lacks a systematical review to summarize and compare these works from a holistic perspective, failing to abstract common and effective designing patterns for inspiring future studies. To bridge this gap, in this paper, we propose a comprehensive survey on the memory mechanism of LLM-based agents. In specific, we first discuss ''what is'' and ''why do we need'' the memory in LLM-based agents. Then, we systematically review previous studies on how to design and evaluate the memory module. In addition, we also present many agent applications, where the memory module plays an important role. At last, we analyze the limitations of existing work and show important future directions. To keep up with the latest advances in this field, we create a repository at \url{https://github.com/nuster1128/LLM_Agent_Memory_Survey}.

研究の動機と目的

• LLMベースのエージェントにおけるメモリを定義し、その必要性を正当化する。
• 情報源、形態、操作に基づくメモリ設計を体系的に分類する。
• エージェントのメモリを評価する評価方法を検討し、ベストプラクティスを特定する。
• メモリが重要なエージェントの応用を調査し、限界を分析する。
• メモリを有するエージェントにおける未解決の課題と将来の研究方向性を示す。

提案手法

• 狭義と広義のエージェントメモリの notions を定義し、三段階の相互作用プロセス（書き込み、管理、読み取り）をモデル化する。
• 情報源をトライ内情報、トライ間情報、外部知識に分類し、既存システムからの例を示す。
• メモリ形態をテキスト表現またはパラメトリック表現として説明し、それぞれの長所と短所を比較する。
• メモリ操作：書き込み（W）、管理（P）、読み取り（R）と、LLMsを用いた統一的発展機能を説明する。
• 直接的および間接的なタスク、さまざまな応用シナリオを含む評価アプローチを調査する。

Figure 1: The importance of the memory module in LLM-based agents.

実験結果

リサーチクエスチョン

• RQ1 LLMベースのエージェントにおけるメモリとは何か、そしてそれがエージェントの自律性と自己進化にとってなぜ必要か。
• RQ2 メモリをどのように効果的に実装（情報源、形態、操作）し、タスクを横断して評価できるか。
• RQ3 メモリが重要性を示す主な応用分野は何か。
• RQ4 現行のメモリモジュールの制限は何か、今後の改善の方向性は。

主な発見

• メモリはエージェントと環境の相互作用に不可欠で、知覚、処理、行動をループで可能にする。
• メモリはトライ内だけに限定された狭義と、トライ間やタスク全体へ広がる広義の両方を含み、外部知識を組み込む。
• メモリ源にはトライ内情報、トライ間情報、外部知識が含まれ、多くのシステムが三者をさまざまな程度で利用している。
• メモリ形態はテキスト表現とパラメトリック表現を含み、それぞれ説明性と効率性のトレードオフがある。
• メモリ操作は書き込み、管理、読み取りを含み、LLMsを介してエージェントの行動を導く統一的な定式化がある。
• このサーベイは制限を特定し、パラメトリックメモリ、多エージェントメモリ、 lifelong learning など将来の方向性を強調する。

Figure 3: (a) Examples of the potential trials in the agent-environment interaction process. (b) Illustration of the memory reading, writing, and management processes, where dotted lines mean that the cross-trial information can be incorporated into the memory module.