[논문 리뷰] AutoAttacker: A Large Language Model Guided System to Implement Automatic Cyber-attacks

Jiacen Xu, Jack W. Stokes외 6명|arXiv (Cornell University)|2024. 03. 02.

Network Security and Intrusion Detection인용 수 11

한 줄 요약

AutoAttacker는 시뮬레이션된 네트워크에서 침해 후 핸드온-키보드 형식의 사이버 공격을 자동화하는 LLM 구동 모듈식 시스템으로, 계획 수립, 요약, 네비게이션, 그리고 Retrieval Augmented Generation에서 영감을 받은 경험 관리자를 사용하여 정밀한 공격 명령을 생성한다.

ABSTRACT

Large language models (LLMs) have demonstrated impressive results on natural language tasks, and security researchers are beginning to employ them in both offensive and defensive systems. In cyber-security, there have been multiple research efforts that utilize LLMs focusing on the pre-breach stage of attacks like phishing and malware generation. However, so far there lacks a comprehensive study regarding whether LLM-based systems can be leveraged to simulate the post-breach stage of attacks that are typically human-operated, or "hands-on-keyboard" attacks, under various attack techniques and environments. As LLMs inevitably advance, they may be able to automate both the pre- and post-breach attack stages. This shift may transform organizational attacks from rare, expert-led events to frequent, automated operations requiring no expertise and executed at automation speed and scale. This risks fundamentally changing global computer security and correspondingly causing substantial economic impacts, and a goal of this work is to better understand these risks now so we can better prepare for these inevitable ever-more-capable LLMs on the horizon. On the immediate impact side, this research serves three purposes. First, an automated LLM-based, post-breach exploitation framework can help analysts quickly test and continually improve their organization's network security posture against previously unseen attacks. Second, an LLM-based penetration test system can extend the effectiveness of red teams with a limited number of human analysts. Finally, this research can help defensive systems and teams learn to detect novel attack behaviors preemptively before their use in the wild....

연구 동기 및 목표

• LLMs가 다양한 환경과 기법에 걸쳐 핸드온-키보드 침해 후 공격을 자동화할 수 있는지 평가한다.
• LLMs를 활용한 계획, 요약 및 명령 생성을 통해 공격 자동화를 개선하기 위한 모듈식 시스템을 개발한다.
• 시뮬레이션된 엔터프라이즈 네트워크에서 정찰부터 지속까지를 다루는 14개의 공격 벤치마크를 제공한다.
• 검색 기반의 경험 관리(Retrieval-augmented experience management)가 공격 오버헤드를 줄이고 성공률을 높이는 방법을 보여준다.
• 자동화된 LLM 구동 사이버 공격에서 비롯된 보안 시사점과 방어 고려사항을 논의한다.

제안 방법

• Summarizer, Planner, Navigator, 그리고 Experience Manager의 네 구성요소를 갖춘 모듈식 AutoAttacker 아키텍처를 제안한다.
• LLM 콘텐츠 필터를 우회하고 공격 명령을 얻기 위해 탈출 패턴 역할극 프롬프트를 사용한다.
• 계획을 위한 구조화된 실행 형식과 사고의 연쇄를 강제하는 프롬프트를 이용한다.
• 성공적인 이전 행동을 재사용하기 위한 Retrieval Augmented Generation 유사한 경험 관리자를 도입한다.
• Windows/Linux 혼합 VM 환경에서 14-공격 벤치마크에 대해 GPT-4와 여러 오픈 모델(GPT-3.5, Llama2 변형)을 평가한다.
• 온도 0에서 GPT-4의 경우 완벽한 성공률을 보이고, 더 작은 모델에서는 성능이 더 저하된다.

실험 결과

연구 질문

• RQ1 여러 기법과 환경에 걸쳐 인간의 개입 없이 포괄적인 침해 후 공격을 자동화하는 LLM 기반 시스템이 가능한가?
• RQ2 정확한 공격 명령 생성을 가능하게 하는 가장 적합한 아키텍처 설계(모듈식 에이전트, 계획, 요약, 네비게이션, 그리고 RAG 유사 경험 관리)란 무엇인가?
• RQ3 다양한 LLM(GPT-4 대 GPT-3.5, Llama2 변형)의 자동화된 침투 테스트 성능 차이는 무엇인가?
• RQ4 자동화된 공격으로부터 얻을 수 있는 방어 관련 인사이트를 통해 탐지 및 회복력을 어떻게 향상시킬 수 있는가?

주요 결과

• GPT-4를 사용할 때 AutoAttacker가 공격 작업을 높은 효과로 완료하며, 온도 0에서 완벽한 성공률을 달성한다.
• 더 작은 모델들(GPT-3.5, Llama2-7B-chat, Llama2-70B-chat)은 자동화된 침투 작업에서 만족스럽지 못한 성능을 보인다.
• 경험 관리자와 모듈식 설계가 공격 오버헤드를 줄이고 이전에 성공한 행동의 재사용을 향상시킨다.
• Retrieval Augmented Generation에서 영감을 얻은 경험 관리자는 이전의 하위작업을 재사용하여 복합적 공격을 구성할 수 있게 한다.
• 탈출 기반 프롬프트는 엄격한 콘텐츠 필터를 회피하면서 LLM으로부터 공격 명령을 실용적으로 추출하도록 한다.
• AutoAttacker는 다양한 환경과 작업에서 LLM 기반 공격 자동화를 평가하기 위한 프레임워크와 벤치마크를 제공한다.