[論文レビュー] CLAG: Adaptive Memory Organization via Agent-Driven Clustering for Small Language Model Agents

Taeyun Roh, Wonhee Jang+2 more|arXiv (Cornell University)|Mar 16, 2026

Topic Modeling被引用数 0

ひとこと要約

CLAGは長期的記憶を組織するエージェント主導のクラスタリングを導入し、小規模言語モデルエージェントの局所的な記憶進化とクラスタを意識した二段階の検索を実現することで、グローバル記憶プールに対して頑健性と効率を向上させる。

ABSTRACT

Large language model agents heavily rely on external memory to support knowledge reuse and complex reasoning tasks. Yet most memory systems store experiences in a single global retrieval pool which can gradually dilute or corrupt stored knowledge. This problem is especially pronounced for small language models (SLMs), which are highly vulnerable to irrelevant context. We introduce CLAG, a CLustering-based AGentic memory framework where an SLM agent actively organizes memory by clustering. CLAG employs an SLM-driven router to assign incoming memories to semantically coherent clusters and autonomously generates cluster-specific profiles, including topic summaries and descriptive tags, to establish each cluster as a self-contained functional unit. By performing localized evolution within these structured neighborhoods, CLAG effectively reduces cross-topic interference and enhances internal memory density. During retrieval, the framework utilizes a two-stage process that first filters relevant clusters via their profiles, thereby excluding distractors and reducing the search space. Experiments on multiple QA datasets with three SLM backbones show that CLAG consistently improves answer quality and robustness over prior memory systems for agents, remaining lightweight and efficient.

研究の動機と目的

• 長期的なLLMエージェントにおける構造化記憶の必要性を動機づけ、トピック間の干渉を低減する。
• クラスタリングベースの記憶フレームワーク(CLAG)を提案し、記憶をトピック整合性のあるクラスタへ自己組織化する。
• クラスタ内で局所的な記憶進化を可能にし、意味密度と一貫性を維持する。
• 検索空間と検索ノイズを削減する二段階のクラスタ意識的検索プロセスを開発する。
• 複数のバックボーンとデータセットで頑健性と効率の向上を示す。

提案手法

• エージェンティックルーティングは新しい記憶をSLM駆動のルーターにより意味的に整合したクラスタへ割り当てる。
• クラスタはトピック特異的なプロファイル（キーワードとタグ）を維持し、内容を要約する。
• 局所的進化はルーティングされたクラスタ内での記憶統合を行い、意味密度を強化する。
• 二段階検索はまずクラスタのプロファイルでフィルタリングし、その後選択されたクラスタ内の記憶を検索する。
• 適応的なクラスタリングは過大なクラスタを分割して意味的ドリフトを防ぎ、適応性を維持する。

Figure 1: Conceptual comparison between existing global memory systems and CLAG. (Left) Traditional approaches manage memories in a single global pool, where topic-mixed updates and retrieval lead to high interference and noise accumulation. (Right) CLAG employs agent-driven clustering to organize m

実験結果

リサーチクエスチョン

• RQ1 エージェント主導のクラスタリングはドメイン横断でSLM搭載エージェントの頑健性と回答品質を改善できるか。
• RQ2 クラスタ近隣での局所的進化はグローバルな記憶更新よりもトピック間干渉を効果的に緩和するか。
• RQ3 クラスタ意識的検索は検索ノイズを減らし、グローバル検索ベースラインと比べて効率を改善するか。
• RQ4 CLAGは複数のバックボーンモデルと知識集約タスクでどのような性能を示すか。

主な発見

• CLAGは3つのQAベンチマークと3つのSLMバックボーン全体で一貫して回答品質と頑健性を改善する。
• 知識集約とドメインシフト設定でより強力なF1/BLEU-1スコアを達成する。
• 二段階のクラスタ意識的検索は探索空間を削減し、妨害要因を抑制して検索品質を向上させる。
• クラスタ内の局所的進化は記憶密度と一貫性を高め、複雑なタスクで推論を支援する。
• CLAGは待ち時間とスループットを良好に維持し、主要データセットでエンドツーエンドの効率性をいくつかのベースラインより上回る。

Figure 2: Overview of the proposed CLAG framework. Left: Agentic Routing. An SLM router assigns each incoming memory note $m_{\text{new}}$ to the most relevant cluster using semantic metadata, and updates the corresponding cluster profile $\mathcal{P}$ . Middle: Localized Evolution. An evolution age