[論文レビュー] LLM Agents can Autonomously Exploit One-day Vulnerabilities

Richard Fang, Rohan Bindu+2 more|arXiv (Cornell University)|Apr 11, 2024

Web Application Security Vulnerabilities被引用数 9

ひとこと要約

本論文は、CVEの説明とツールを与えられたGPT-4ベースのLLMエージェントが、実世界の1日脆弱性を自律的に悪用できる87%の成功率を達成し、他のモデルやスキャナーは失敗することを示している。

ABSTRACT

LLMs have becoming increasingly powerful, both in their benign and malicious uses. With the increase in capabilities, researchers have been increasingly interested in their ability to exploit cybersecurity vulnerabilities. In particular, recent work has conducted preliminary studies on the ability of LLM agents to autonomously hack websites. However, these studies are limited to simple vulnerabilities. In this work, we show that LLM agents can autonomously exploit one-day vulnerabilities in real-world systems. To show this, we collected a dataset of 15 one-day vulnerabilities that include ones categorized as critical severity in the CVE description. When given the CVE description, GPT-4 is capable of exploiting 87% of these vulnerabilities compared to 0% for every other model we test (GPT-3.5, open-source LLMs) and open-source vulnerability scanners (ZAP and Metasploit). Fortunately, our GPT-4 agent requires the CVE description for high performance: without the description, GPT-4 can exploit only 7% of the vulnerabilities. Our findings raise questions around the widespread deployment of highly capable LLM agents.

研究の動機と目的

• LLMエージェントが実世界の1日脆弱性を自律的に悪用できるかをデモンストレーションする。
• 再現性のあるテストに適したオープンソースの実世界CVEsのベンチマークを作成する。
• このベンチマークでGPT-4を他のLLMと脆弱性スキャナーと比較評価する。
• CVEの説明を提供する場合と提供しない場合の悪用成功率への影響を分析する。
• LLMベースの自動悪用のコストと実行可能性を見積もる。

提案手法

• CVEおよび学術情報源から実世界の1日脆弱性を15件のベンチマークとして構築する。
• ツール（ブラウザ、端末、ウェブ結果、ファイルエディタ、コードインタープリタ）へアクセスを持つ最小限のReActベースのエージェントを構築する（コード行数91行）。
• ベースモデルとしてGPT-4を使用し、同じ設定でGPT-3.5および8つのオープンソースモデルと比較する。
• 自律的に脆弱性を悪用しないオープンソースのスキャナー（ZAP、Metasploit）と評価する。
• パス到達5、総成功率、トークンベースのコストを測定するエンドツーエンド実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 CVEの説明が与えられた場合、LLMエージェントは実世界の1日脆弱性を自律的に悪用できるか？
• RQ2 このベンチマークにおけるGPT-4の性能は他のLLMや脆弱性スキャナーとどう比較されるか？
• RQ3 CVEの説明を削除した場合、悪用成功と脆弱性特定への影響はどうなるか？
• RQ4 GPT-4を用いたこの種の悪用を実行する際の実用的なコストは何か？
• RQ5 計画改善やサブエージェントは悪用タスクの性能を向上させるか？

主な発見

• GPT-4はCVEの説明が与えられた場合、15個の脆弱性ベンチマークで総合成功率87%（pass @ 5）を達成する。
• GPT-4はGPT-3.5、8つのオープンソースモデル、そしてこのベンチマークで0%の悪用成功率を達成するオープンソーススキャナーよりも優れる。
• CVEの説明がない場合、GPT-4の成功率は7%に低下し、脆弱性の特定は著しく困難になる。
• オープンソースのスキャナー（ZAP、Metasploit）はこれらの脆弱性を自律的に悪用できず、スキャンと悪用機能のギャップを強調している。
• エージェントの性能はGPT-4における新たな能力の出現を示唆しており、計画、サブエージェント、より大きなツール使用能力による改善の可能性がある。
• CVEの説明が使用される場合、脆弱性ごとの平均アクション数は脆弱性ごとに範囲があり、タスクの複雑さとナビゲーション要件を示している。