[論文レビュー] Prompt Infection: LLM-to-LLM Prompt Injection within Multi-Agent Systems

Dong-Hyun Lee, Mansi Tiwari|arXiv (Cornell University)|Oct 9, 2024

Simulation Techniques and Applications被引用数 4

ひとこと要約

本論文は、自己複製可能な悪意あるプロンプトが相互接続されたエージェント間で広がる、画期的なLLMからLLMへのプロンプトインジェクション攻撃「Prompt Infection」を紹介する。これにより、マルチエージェントシステム内でのデータ漏洩やシステムの乗っ取りが生じる。著者らは、LLMタギングと既存の防御メカニズムを組み合わせることで、感染成功率が著しく低下することを実証し、マルチエージェントLLMアーキテクチャにおける統合的セキュリティ戦略の必要性を強調している。

ABSTRACT

As Large Language Models (LLMs) grow increasingly powerful, multi-agent systems are becoming more prevalent in modern AI applications. Most safety research, however, has focused on vulnerabilities in single-agent LLMs. These include prompt injection attacks, where malicious prompts embedded in external content trick the LLM into executing unintended or harmful actions, compromising the victim's application. In this paper, we reveal a more dangerous vector: LLM-to-LLM prompt injection within multi-agent systems. We introduce Prompt Infection, a novel attack where malicious prompts self-replicate across interconnected agents, behaving much like a computer virus. This attack poses severe threats, including data theft, scams, misinformation, and system-wide disruption, all while propagating silently through the system. Our extensive experiments demonstrate that multi-agent systems are highly susceptible, even when agents do not publicly share all communications. To address this, we propose LLM Tagging, a defense mechanism that, when combined with existing safeguards, significantly mitigates infection spread. This work underscores the urgent need for advanced security measures as multi-agent LLM systems become more widely adopted.

研究の動機と目的

• マルチエージェントシステム（MAS）がLLMからLLMへのプロンプトインジェクション攻撃に対して、単一エージェントの脅威をはるかに超えて脆弱であるかどうかを調査すること。
• 悪意あるプロンプトがエージェント間で自己複製され、一括されたデータ漏洩、誤情報の拡散、システムの混乱を引き起こす可能性があることを実証すること。
• マークイング、指示防御、サンドイッチ法などの既存防御メカニズムが、この新しい攻撃表面に対してどの程度効果を発揮するかを評価すること。
• LLMタギングを防御として提案・検証し、他の技術と組み合わせることでMAS内での感染拡大を顕著に低減できることを示すこと。
• 分散型MASアーキテクチャは本質的により安全であるという仮定に疑問を呈し、内部のエージェント間での乗っ取りが深刻な脅威であることを明らかにすること。

提案手法

• 著者らは、被害を受けたエージェントが協調的な通信を通じて他のエージェントに悪意あるプロンプトを広める、画期的な攻撃ベクトル「Prompt Infection」としての設計と実行を実施した。
• LangGraph や AutoGen などのフレームワークを用いてマルチエージェントシステムをシミュレートし、記憶の取得やコード実行などの異なる役割を果たすエージェントが協働できる環境を構築した。
• 攻撃は、GPT-3.5 Turbo や GPT-4o などのモデルを用いて、データ漏洩、社会的シミュレーション、ツールベースのコマンド実行の複数のシナリオでテストされた。
• LLMタギングは、エージェントが出力する内容に一意のマーカーを付加する防御メカニズムであり、下流のエージェントがユーザー入力とLLM生成コンテンツを区別できるようにする。
• LLMタギングの有効性は、マークイング、指示防御、サンドイッチ法などの他のプロンプトベース防御と組み合わせて評価され、攻撃成功確率を主指標として用いた。
• 攻撃回避技術に対する耐性を評価するために、手作業で作成したプロンプトとアルゴリズム的に生成された攻撃プロンプトを用いて実験が実施された。

Figure 1: Detailed Example of Prompt Infection (Data Theft). The first agent that interacts with the contaminated external document becomes compromised, extracting and propagating the infection prompt. Compromised downstream agents then execute specific instructions designed for each agent of intere

実験結果

リサーチクエスチョン

• RQ1 悪意あるプロンプトは、相互接続されたLLMエージェント間で自己複製され、システム全体の乗っ取りを引き起こす可能性があるか？
• RQ2 GPT-3.5 Turbo や GPT-4o を含む、さまざまなLLMアーキテクチャにおいて、Prompt Infectionの攻撃成功確率はどのように変動するか？
• RQ3 マークイング、指示防御、サンドイッチ法などの既存防御メカニズムは、LLMからLLMへのプロンプトインジェクションに対してどの程度保護を提供するか？
• RQ4 LLMタギングは単独で感染を防げるのか、それとも他の防御と組み合わせてこそ有効なのか？
• RQ5 記憶の取得システムやエージェント間の協働が、社会的シミュレーション環境におけるプロンプト感染の伝搬と影響にどのように影響するか？

主な発見

• Prompt Infectionにより、自己複製可能な悪意あるプロンプトがエージェント間で広がり、通信が完全に公開されていなくても一括されたデータ漏洩やシステムの混乱が生じる。
• GPT-4o などのより強力なモデルは、意思決定力やツール使用能力に優れているため、被害を受けた場合に攻撃をより効果的に実行でき、システム全体のリスクが高まる。
• マークイング + LLMタギングの組み合わせは、攻撃成功確率を 0% まで低下させ、他のすべてのテスト構成を上回った。
• 指示防御 + LLMタギングは攻撃成功確率を 3% まで低下させ、サンドイッチ + LLMタギングは 16% まで低下させた。これにより、ハイブリッド防御戦略の価値が示された。
• LLMタギング単体では攻撃成功をたった 5% しか低下させず、単独での防御は洗練されたLLMからLLMへの感染に対して不十分であることが示された。
• 攻撃は、文字の入れ替え（例：_）などの技術を用いて防御を回避した。これは、手作業で作成されたマーカーがアルゴリズム的に生成されたプロンプトによってかいくつける可能性があることを示している。

Figure 2: Overview of Prompt Infection (Data Theft). Agents with different tools collaborate to exfiltrate data.