[論文レビュー] Teams of LLM Agents can Exploit Zero-Day Vulnerabilities

Zhu, Yuxuan, Kellermann, Antony+5 more|arXiv (Cornell University)|Jun 2, 2024

Blockchain Technology Applications and Security被引用数 18

ひとこと要約

本論文は、HPTSAという階層的計画を用いたマルチエージェントシステムを提示します。これにより、LLMエージェントのチームが現実世界のゼロデイのウェブ脆弱性を自律的に活用できるようになり、ベースラインを上回り、desc. knowledge性能に近づきます。

ABSTRACT

LLM agents have become increasingly sophisticated, especially in the realm of cybersecurity. Researchers have shown that LLM agents can exploit real-world vulnerabilities when given a description of the vulnerability and toy capture-the-flag problems. However, these agents still perform poorly on real-world vulnerabilities that are unknown to the agent ahead of time (zero-day vulnerabilities). In this work, we show that teams of LLM agents can exploit real-world, zero-day vulnerabilities. Prior agents struggle with exploring many different vulnerabilities and long-range planning when used alone. To resolve this, we introduce HPTSA, a system of agents with a planning agent that can launch subagents. The planning agent explores the system and determines which subagents to call, resolving long-term planning issues when trying different vulnerabilities. We construct a benchmark of 14 real-world vulnerabilities and show that our team of agents improve over prior agent frameworks by up to 4.3X.

研究の動機と目的

• サイバーセキュリティ分野におけるAIエージェントによるゼロデイ脆弱性の悪用の研究を動機づける。
• 単一エージェントの計画と探索の限界を克服するために、マルチエージェントフレームワーク（HPTSA）を提案する。
• エージェントチームがベンチマーク上で現実世界のゼロデイ脆弱性を自律的に悪用できることを実証する。
• 自律的なサイバーセキュリティ侵害のためのLLMエージェントの使用コストと実用性を評価する。

提案手法

• 階層型プランナー、チームマネージャー、タスク特化型のエキスパートエージェントという3つの要素を備えたHPTSAを導入する。
• Playwright、端末、ファイルツールへのアクセスを持つ6つのエキスパートエージェント（XSS、SQLi、CSRF、SSTI、ZAP、および汎用のウェブハッキングエージェント）を設計する。
• すべての実験にGPT-4を用い、LangChain/LangGraphでエージェントを調整し、HTMLの簡略化を通じてトークン負荷を削減する。
• GPT-4の知識カットオフ日を過ぎた15件の現実世界のウェブ脆弱性のベンチマークを構築し、サンドボックス環境で悪用を検証する。
• パス-at-5を主要指標とし、パス-at-1指標、アブレーション、ケーススタディを用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントLLMシステムは現実世界のゼロデイウェブ脆弱性を自律的に悪用できるか？
• RQ2 階層的計画とタスク特化の専門化は長期的な脆弱性悪用にどのように影響するか？
• RQ3 HPTSAはゼロデイ脆弱性に対して、単一のGPT-4エージェントや従来のスキャナーとどう比較されるか？
• RQ4 高性能を達成する上で、エージェント文書とエキスパートエージェントの役割は何か？

主な発見

• HPTSAはゼロデイベンチマークでpass at 5が53%、pass at 1が33.3%を達成。
• HPTSAは脆弱性の説明なしのGPT-4を、pass at 1で4.5倍、pass at 5で2.7倍上回る。
• HPTSAは脆弱性の説明付きGPT-4と比較してpass at 5で1.4×の範囲に収まる。
• オープンソースのスキャナ（ZAP、Metasploit）はベンチマークで0%を達成。
• エキスパートエージェントや文書を削除すると性能が大幅に低下（pass at 1で最大4倍、pass at 5で27%低下）する。
• 平均エージェント実行コストは$4.39、全体成功率は18%、1件の成功した悪用あたり$24.39を示す。