[论文解读] AutoAttacker: A Large Language Model Guided System to Implement Automatic Cyber-attacks

Jiacen Xu, Jack W. Stokes+6 more|arXiv (Cornell University)|Mar 2, 2024

Network Security and Intrusion Detection被引用 11

一句话总结

AutoAttacker 是一个由 LLM 驱动的模块化系统，在模拟网络中自动化越过入侵后的键盘操作的网络攻击，使用规划、摘要、导航，以及受 Retrieval Augmented Generation 启发的体验管理器来生成精确的攻击命令。

ABSTRACT

Large language models (LLMs) have demonstrated impressive results on natural language tasks, and security researchers are beginning to employ them in both offensive and defensive systems. In cyber-security, there have been multiple research efforts that utilize LLMs focusing on the pre-breach stage of attacks like phishing and malware generation. However, so far there lacks a comprehensive study regarding whether LLM-based systems can be leveraged to simulate the post-breach stage of attacks that are typically human-operated, or "hands-on-keyboard" attacks, under various attack techniques and environments. As LLMs inevitably advance, they may be able to automate both the pre- and post-breach attack stages. This shift may transform organizational attacks from rare, expert-led events to frequent, automated operations requiring no expertise and executed at automation speed and scale. This risks fundamentally changing global computer security and correspondingly causing substantial economic impacts, and a goal of this work is to better understand these risks now so we can better prepare for these inevitable ever-more-capable LLMs on the horizon. On the immediate impact side, this research serves three purposes. First, an automated LLM-based, post-breach exploitation framework can help analysts quickly test and continually improve their organization's network security posture against previously unseen attacks. Second, an LLM-based penetration test system can extend the effectiveness of red teams with a limited number of human analysts. Finally, this research can help defensive systems and teams learn to detect novel attack behaviors preemptively before their use in the wild....

研究动机与目标

• 评估 LLMs 是否能够在多种环境和技术下，自动化越过入侵后的键盘操作的网络攻击。
• 开发一个模块化系统，利用 LLMs 进行规划、摘要和命令生成，以提高攻击自动化。
• 提供一个覆盖从侦察到持久化在内的 14 种攻击的基准，在模拟的企业网络中。
• 展示检索增强型体验管理如何降低攻击开销并提高成功率。
• 讨论由自动化 LLM 驱动的网络攻击带来的安全影响及防御考量。

提出的方法

• 提出一个模块化的 AutoAttacker 架构，包含四个组件：Summarizer、Planner、Navigator 和 Experience Manager。
• 使用越狱式角色扮演提示，以绕过 LLM 内容过滤并获取攻击命令。
• 使用能够强制执行结构化动作格式与类思路链的推理的提示，用于规划。
• 融入类似 Retrieval Augmented Generation 的体验管理器，以重用先前成功的行为。
• 在 Windows/Linux 混合虚拟机环境中，对 14 种攻击基准基于 GPT-4 与若干开源模型（GPT-3.5、Llama2 变体）进行评估。
• 在温度为 0 的情况下，GPT-4 展示出完美的成功率；较小模型表现较差。

实验结果

研究问题

• RQ1 基于 LLM 的系统是否能够在不依赖人工干预的情况下，在多种技术和环境中自动化完成全面的入侵后攻击？
• RQ2 哪种架构设计（模块化代理、规划、摘要、导航，以及类似 RAG 的体验管理）最能实现对攻击命令的精准生成？
• RQ3 不同的 LLM（GPT-4 与 GPT-3.5、Llama2 变体）在自动化渗透测试中的性能对比如何？
• RQ4 从自动化攻击中可以得出哪些与防御相关的洞见，以改进检测和韧性？

主要发现

• 在使用 GPT-4 时，AutoAttacker 在完成攻击任务方面表现出很高的有效性，在温度为 0 时实现完美的成功率。
• 较小的模型（GPT-3.5、Llama2-7B-chat、Llama2-70B-chat）在自动化渗透任务上的表现不令人满意。
• 体验管理器和模块化设计降低了攻击开销并改善了对先前成功行动的重用。
• 受 Retrieval Augmented Generation 启发的体验管理器使重用先前的子任务以构建复杂攻击成为可能。
• 基于越狱的提示使从 LLMs 实际提取攻击命令成为可能，同时避免严格的内容过滤器。
• AutoAttacker 提供一个框架和基准，用于在多种环境和任务下评估基于 LLM 的攻击自动化。