[論文レビュー] AutoAttacker: A Large Language Model Guided System to Implement Automatic Cyber-attacks

Jiacen Xu, Jack W. Stokes+6 more|arXiv (Cornell University)|Mar 2, 2024

Network Security and Intrusion Detection被引用数 11

ひとこと要約

AutoAttacker は、計画、要約、ナビゲーション、および Retrieval Augmented Generation に触発されたエクスペリエンスマネージャを使用して、模擬ネットワーク内でブリーチ後のサイバー攻撃をハンズオン・キーボード操作で自動化する、LLM駆動のモジュール式システムです。正確な攻撃コマンドを生成します。

ABSTRACT

Large language models (LLMs) have demonstrated impressive results on natural language tasks, and security researchers are beginning to employ them in both offensive and defensive systems. In cyber-security, there have been multiple research efforts that utilize LLMs focusing on the pre-breach stage of attacks like phishing and malware generation. However, so far there lacks a comprehensive study regarding whether LLM-based systems can be leveraged to simulate the post-breach stage of attacks that are typically human-operated, or "hands-on-keyboard" attacks, under various attack techniques and environments. As LLMs inevitably advance, they may be able to automate both the pre- and post-breach attack stages. This shift may transform organizational attacks from rare, expert-led events to frequent, automated operations requiring no expertise and executed at automation speed and scale. This risks fundamentally changing global computer security and correspondingly causing substantial economic impacts, and a goal of this work is to better understand these risks now so we can better prepare for these inevitable ever-more-capable LLMs on the horizon. On the immediate impact side, this research serves three purposes. First, an automated LLM-based, post-breach exploitation framework can help analysts quickly test and continually improve their organization's network security posture against previously unseen attacks. Second, an LLM-based penetration test system can extend the effectiveness of red teams with a limited number of human analysts. Finally, this research can help defensive systems and teams learn to detect novel attack behaviors preemptively before their use in the wild....

研究の動機と目的

• LLMs がさまざまな環境と技術に跨って、ハンズオン・キーボードのブリーチ後サイバー攻撃を自動化できるかを評価する。
• 計画、要約、コマンド生成のために LLM を活用するモジュール式システムを開発し、攻撃の自動化を向上させる。
• 模擬エンタープライズネットワークで偵察から持続性までを含む14の攻撃のベンチマークを提供する。
• Retrieval Augmented Experience Management が攻撃のオーバーヘッドを削減し、成功率を向上させる方法を示す。
• 自動化されたLLM駆動のサイバー攻撃から生じるセキュリティへの影響と防御上の検討事項を論じる。

提案手法

• Summarizer、Planner、Navigator、Experience Manager の4つのコンポーネントからなるモジュール式 AutoAttacker アーキテクチャを提案する。
• LLM のコンテンツフィルターを回避して攻撃コマンドを取得するためのジャイルブレイキング（脱獄）ロールプレイプロンプトを使用する。
• 計画のために、構造化されたアクション形式と思考過程に触発された推論を強制するプロンプトを用いる。
• 成功した前のアクションを再利用する Retrieval Augmented Generation に類似したエクスペリエンスマネージャを組み込む。
• Windows/Linux混在VM環境で14の攻撃ベンチマークに対して GPT-4 およびいくつかの公開モデル（GPT-3.5、Llama2 系列）を評価する。
• 温度0でGPT-4が完璧な成功率を示すことを実証する一方、より小さなモデルでは性能が劣る。

実験結果

リサーチクエスチョン

• RQ1 人間の介在なしに、複数の技術と環境を横断して、LLM ベースのシステムが包括的なブリーチ後攻撃を自動化できるか？
• RQ2 モジュール式エージェント、計画、要約、ナビゲーション、および RAG に類似したエクスペリエンス管理というどのアーキテクチャ設計が、正確な攻撃コマンド生成を最も効果的に可能にするか？
• RQ3 異なるLLM（GPT-4 対 GPT-3.5、Llama2 系列）は自動ペネトレーションテストの性能をどのように比較するか？
• RQ4 攻撃の自動化から検知とレジリエンスを改善するための防御に関する洞察は何か？

主な発見

• GPT-4 を使用した場合、攻撃タスクの遂行に高い有効性を達成し、温度0で完璧な成功率を示す。
• 小型モデルは自動化されたペネトレーションタスクで満足のいく性能を示さない。
• エクスペリエンスマネージャとモジュール設計は攻撃のオーバーヘッドを削減し、以前の成功したアクションの再利用を改善する。
• Retrieval Augmented Generation に触発されたエクスペリエンスマネージャは、以前のサブタスクを再利用して複雑な攻撃を構築できる。
• ジャイルブレイク基づくプロンプトは、厳格なコンテンツフィルターを回避しつつLLMから攻撃コマンドを実用的に抽出できる。
• AutoAttackerは、さまざまな環境とタスクの下でLLMベースの攻撃自動化を評価するためのフレームワークとベンチマークを提供する。