[論文レビュー] A-MEM: Agentic Memory for LLM Agents

Wujiang Xu, Zujie Liang+4 more|ArXiv.org|Feb 17, 2025

Modular Robots and Swarm Intelligence被引用数 6

ひとこと要約

A-Mem は、Zettelkasten に触発されたエージェント的で動的に進化する記憶システムを LLM エージェントのために導入し、自律的なノート作成、リンク付け、記憶の進化を可能にして長期のタスクパフォーマンスを向上させる。LoCoMo における六つの基盤モデルでの評価は、特にマルチホップ推論で競争力のある、または優れた結果を示し、トークンオーバーヘッドが低い。

ABSTRACT

While large language model (LLM) agents can effectively use external tools for complex real-world tasks, they require memory systems to leverage historical experiences. Current memory systems enable basic storage and retrieval but lack sophisticated memory organization, despite recent attempts to incorporate graph databases. Moreover, these systems' fixed operations and structures limit their adaptability across diverse tasks. To address this limitation, this paper proposes a novel agentic memory system for LLM agents that can dynamically organize memories in an agentic way. Following the basic principles of the Zettelkasten method, we designed our memory system to create interconnected knowledge networks through dynamic indexing and linking. When a new memory is added, we generate a comprehensive note containing multiple structured attributes, including contextual descriptions, keywords, and tags. The system then analyzes historical memories to identify relevant connections, establishing links where meaningful similarities exist. Additionally, this process enables memory evolution - as new memories are integrated, they can trigger updates to the contextual representations and attributes of existing historical memories, allowing the memory network to continuously refine its understanding. Our approach combines the structured organization principles of Zettelkasten with the flexibility of agent-driven decision making, allowing for more adaptive and context-aware memory management. Empirical experiments on six foundation models show superior improvement against existing SOTA baselines. The source code for evaluating performance is available at https://github.com/WujiangXu/A-mem, while the source code of the agentic memory system is available at https://github.com/WujiangXu/A-mem-sys.

研究の動機と目的

• 固定スキーマや事前定義された記憶操作を超える、LLMエージェントのための柔軟で普遍的な記憶を動機づける。
• 属性と埋め込みを備えた強化された記憶ノートを自律的に構築するエージェント的記憶システムを設計する。
• 記憶の動的なリンク付けと進化を可能にし、自己組織化された知識ネットワークを形成する。
• 複数の基盤モデル全体で長期的対話タスクにおける優れたパフォーマンスを実証する。

提案手法

• Zettelkasten に触発された原子ノートを採用し、豊富な属性（content, timestamp, keywords, tags, contextual description）と類似度マッチングのための密な埋め込みを用いて類似性マッチングを行う。
• ノート埋め込みを計算し、top-k コサイン類似度を用いてリンク生成の近傍メモリを選択する。
• 新しい記憶が追加されるとき、文脈的説明、リンク、進化する属性を生成するために LLM を呼び出す。
• 新しい経験に応じて周囲の記憶の文脈、キーワード、タグを更新することで記憶の進化を許容する。
• クエリを埋め込み、記憶ネットワーク全体でコサイン類似度検索を行うことで、与えられたクエリに対して関連する記憶を取得する。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された操作なしで、エージェント的記憶システムは自律的に記憶を構造化・進化させることができますか？
• RQ2 動的リンクと記憶の進化は、マルチセッションタスクにおける長期的推論を改善しますか？
• RQ3 長期的対話ベンチマークにおいて、A-Mem は多様な基盤モデル上の既存のメモリベースラインとどう比較されますか？

主な発見

• A-Mem は LoCoMo の six foundation models 全体で F1 および BLEU-1 スコアが競争力ありまたは優れており、特にマルチホップタスクで顕著な向上を示す。
• memory retrieval with top-k settings balances context richness and processing efficiency, showing diminishing returns at higher k.
• アブレーション研究は、リンク生成と記憶の進化の双方がパフォーマンスに寄与することを示し、完全な A-Mem が変種よりも優れている。
• t-SNE の可視化は、A-Mem でより一貫した記憶クラスタリングを示し、より強力な記憶組織化を反映している。
• A-Mem は一部のベースラインと比較してトークン長を実質的に大幅に低く保ち（概ね 1,200–2,500）、いくつかのベースライン（≈16,900）と比較して。