[論文レビュー] Memory poisoning and secure multi-agent systems

Vicenç Torra, Maria Bras-Amorós|arXiv (Cornell University)|Mar 20, 2026

Security and Verification in Computing被引用数 0

ひとこと要約

この論文はAgentic AIと MAS におけるメモリ Poisoning を分析し、意味记憶・エピソード記憶・短期記憶を分類、Poisoning リスクを評価し、暗号技術ベースおよびプライバシー保護の緩和策を提案する。Prolog様のプライベート推論プロトタイプを含む。

ABSTRACT

Memory poisoning attacks for Agentic AI and multi-agent systems (MAS) have recently caught attention. It is partially due to the fact that Large Language Models (LLMs) facilitate the construction and deployment of agents. Different memory systems are being used nowadays in this context, including semantic, episodic, and short-term memory. This distinction between the different types of memory systems focuses mostly on their duration but also on their origin and their localization. It ranges from the short-term memory originated at the user's end localized in the different agents to the long-term consolidated memory localized in well established knowledge databases. In this paper, we first present the main types of memory systems, we then discuss the feasibility of memory poisoning attacks in these different types of memory systems, and we propose mitigation strategies. We review the already existing security solutions to mitigate some of the alleged attacks, and we discuss adapted solutions based on cryptography. We propose to implement local inference based on private knowledge retrieval as an example of mitigation strategy for memory poisoning for semantic memory. We also emphasize actual risks in relation to interactions between agents, which can cause memory poisoning. These latter risks are not so much studied in the literature and are difficult to formalize and solve. Thus, we contribute to the construction of agents that are secure by design.

研究の動機と目的

• エージェント/MAS におけるメモリシステムを分類し、どこで Poisoning が発生するかを明確にする（意味的記憶、エピソード記憶、短期記憶）。
• 各メモリタイプにおける Poisoning の実現可能性と影響を評価する。
• 暗号技術、出所、プライバシー保護つき取得/推論を活用した緩和策を開発する。
• 意味的記憶 Poisoning 緩和の実用的実装を提案・デモンストレーションする。
• 安全設計とメモリ相互作用リスクにおける未解決課題を強調する。

提案手法

• MAS におけるメモリタイプをレビューし、意味的・エピソード・短期記憶と統合リンクを定義する。
• 知識ベースのデータ汚染と取得出力（公式とログ）を伴う意味的記憶 Poisoning 攻撃をモデル化する。
• 出所構造を伴うハッシュ化・署名などの安全なメモリ機構と安全な更新を用いた緩和を提案する。
• 信頼できない知識ベースに対してクエリを明示せず取得する私的情報取得（PIR）に触発されたアプローチを検討する。
• 二つの非協調的な知識ベースからの私的知識取得を用いたローカルなProlog様 Horn節推論エンジンを実装し、k-アノニミティに基づく軽量な単一サーバーPIR版も実装する。
• 私的推論の限界と信頼/評判メカニズムを未信頼エージェントに対して議論する。
• 保護更新・出所・安全対策を用いてエピソード記憶と短期記憶への緩和策を拡張する。

実験結果

リサーチクエスチョン

• RQ1 MAS/エージェントAI の主要なメモリシステムは何か、意味・エピソード・短期記憶それぞれで Poisoning 攻撃はどのように現れるか？
• RQ2 特に意味的記憶に対して、暗号技術およびプライバシー保護技術はメモリ Poisoning をどう緩和できるか？
• RQ3 安全なメモリ更新、出所、私的取得/推論をMAS で実証する実用的実装は何か？
• RQ4 エピソード記憶と短期記憶の緩和策、エージェント間相互作用の限界と課題は何か？

主な発見

• 意味記憶 Poisoning は事実知識を変更し、将来の意思決定に影響を与える。
• 安全なメモリ機構、出所を含む知識ベースの安全更新、そして安全な通信は Poisoning リスクを低減する。
• 私的知識取得と私的推論は、信頼できない知識ベースへの依存を緩和できる。
• 二つの知識ベースからの私的取得を用いたProlog様推論プロトタイプを実装し、k-アノニミティを用いた単一サーバーPIR版も実装。
• エピソード記憶と短期記憶の Poisoning には、安全な更新・出所・悪意ある相互作用に対する保護が必要で、信頼性と評判メカニズムが推奨される。
• 本研究は二つの主要な研究課題を特定する：安全なエピソード記憶の更新とエージェント間相互作用による記憶操作。