[論文レビュー] AI Agents Under Threat: A Survey of Key Security Challenges and Future Pathways

Zehang Deng, Yongjian Guo+5 more|arXiv (Cornell University)|Jun 4, 2024

Network Security and Intrusion Detection被引用数 4

ひとこと要約

本サーベイは、AIエージェントのセキュリティにおける4つの重要な知識的ギャップ——予測不可能なマルチステップ入力、内部実行の複雑性、環境の変動性、信頼できない外部相互作用——を特定し、100以上の脅威と防御を体系的に分類している。LLMベースのエージェントにおける信頼性を高めるために、強固なメモリ管理、安全な相互作用アーキテクチャ、安全評価ベンチマーク、ポリシー枠組みに関する今後の研究の道筋を提案する。

ABSTRACT

An Artificial Intelligence (AI) agent is a software entity that autonomously performs tasks or makes decisions based on pre-defined objectives and data inputs. AI agents, capable of perceiving user inputs, reasoning and planning tasks, and executing actions, have seen remarkable advancements in algorithm development and task performance. However, the security challenges they pose remain under-explored and unresolved. This survey delves into the emerging security threats faced by AI agents, categorizing them into four critical knowledge gaps: unpredictability of multi-step user inputs, complexity in internal executions, variability of operational environments, and interactions with untrusted external entities. By systematically reviewing these threats, this paper highlights both the progress made and the existing limitations in safeguarding AI agents. The insights provided aim to inspire further research into addressing the security threats associated with AI agents, thereby fostering the development of more robust and secure AI agent applications.

研究の動機と目的

• LLMベースのAIエージェントがその全ライフサイクルにわたり直面する主なセキュリティ課題を特定し、体系化すること。
• ユーザー入力の予測不能性、内部の複雑性、環境の変動性、信頼できない相互作用に起因する未だ十分に検討されていないセキュリティ脆弱性に対処すること。
• AIエージェント開発および展開における統一された安全評価基準とポリシーフレームワークのギャップを埋めること。
• 体系的な脅威分類と防御分析を通じて、安全なエージェント設計に関する今後の研究を促進すること。

提案手法

• AIエージェントセキュリティの脅威を4つの知識的ギャップに分類する：(1) 予測不可能なマルチステップユーザー入力、(2) 複雑な内部実行、(3) 変動する運用環境、(4) 信頼できない外部エージェントとの相互作用。
• 脅威を特定のエージェントコンポonentにマッピングする：認識（例：プロンプトインジェクション）、推論（例： jailbreaks）、行動（例：ツールの乱用）、記憶（例：汚染）、環境（例：サンドボックス脱出）。
• エージェントライフサイクルの各段階における攻撃表面と防御メカニズムを分類するために、100以上の既存研究をレビューする。
• 安全なメモリ管理（例：AvalonBench、PoisonedRAG）、最適な相互作用アーキテクチャ（例：CAMELにおける動的権限）、安全評価ベンチマーク（例：R-Judge、ToolEmu）を含む、今後の研究の道筋を提案する。
• R-Judge や ToolEmu のような現在の評価ツールの限界を分析する。これらは範囲が限定されており、エージェント全体の信頼性を包括的に評価できない。
• 透明性、責任性、倫理的な展開を確保するため、標準化された安全評価ベンチマークとポリシーフレームワークの導入を提唱する。

実験結果

リサーチクエスチョン

• RQ1 予測不可能でマルチステップなユーザー入力がAIエージェントにもたらす主なセキュリティ脅威は何か？
• RQ2 LLMベースのエージェントにおける内部実行の複雑性は、幻覚や不整合といった脆弱性をどのように引き起こすか？
• RQ3 開発環境から物理的環境に至るまでの環境の変動性は、どのように新たな攻撃表面を生じさせるか？
• RQ4 他のエージェントやツールといった信頼できない外部要因との相互作用は、エージェントの完全性と機密性をどのように脅かすか？
• RQ5 AIエージェントの信頼性を評価する上で、どのような重要な研究ギャップが存在し、統一された安全評価基準をどのように設計できるか？

主な発見

• 本サーベイは100以上の論文を特定し、AIエージェントセキュリティにおける4つのコアな知識的ギャップにわたり、100以上の異なる脅威を体系的にマッピングした。
• プロンプトインジェクション、jailbreaks、幻覚は、曖昧または悪意あるユーザー入力に起因する認識および推論の主要な脅威である。
• 内部実行の複雑性は、不整合な行動、意図しない行動、ツールの乱用といったリスクを引き起こす。特に推論と計画が適切に制御されていない場合に顕著である。
• シミュレーテッド環境、サンドボックス環境、物理的環境を含む環境の変動性は、環境スプーフィング、リソース枯渇、設定攻撃といった脅威をもたらす。
• 信頼できないエージェントやツールとの相互作用は、データ漏洩、協力的／競合的脅威、記憶の汚染といったリスクを生じさせ、特にマルチエージェントシステムで顕著である。
• 現在のベンチマーク（例：R-Judge、ToolEmu）は範囲が限定されており、エージェント全体の信頼性を包括的に評価できないため、統一された安全基準の必要性が顕著に浮き彫りになった。