[논문 리뷰] Teams of LLM Agents can Exploit Zero-Day Vulnerabilities

Zhu, Yuxuan, Kellermann, Antony외 5명|arXiv (Cornell University)|2024. 06. 02.

Blockchain Technology Applications and Security인용 수 18

한 줄 요약

본 논문은 HPTSA를 제시한다. 이는 계층적 계획 다중 에이전트 시스템으로 LLM 에이전트 팀이 실세계 제로데이 웹 취약점을 자율적으로 악용하도록 가능하게 하며, 베이스라인을 능가하고 설명형 지식 성능에 근접한다.

ABSTRACT

LLM agents have become increasingly sophisticated, especially in the realm of cybersecurity. Researchers have shown that LLM agents can exploit real-world vulnerabilities when given a description of the vulnerability and toy capture-the-flag problems. However, these agents still perform poorly on real-world vulnerabilities that are unknown to the agent ahead of time (zero-day vulnerabilities). In this work, we show that teams of LLM agents can exploit real-world, zero-day vulnerabilities. Prior agents struggle with exploring many different vulnerabilities and long-range planning when used alone. To resolve this, we introduce HPTSA, a system of agents with a planning agent that can launch subagents. The planning agent explores the system and determines which subagents to call, resolving long-term planning issues when trying different vulnerabilities. We construct a benchmark of 14 real-world vulnerabilities and show that our team of agents improve over prior agent frameworks by up to 4.3X.

연구 동기 및 목표

• 사이버보안에서 AI 에이전트에 의한 제로데이 취약점 악용 연구를 촉진한다.
• 단일 에이전트의 계획 및 탐사 한계를 극복하기 위한 다중 에이전트 프레임워크(HPTSA)를 제안한다.
• 벤치마크에서 에이전트 팀이 실세계 제로데이 취약점을 자율적으로 악용할 수 있음을 시연한다.
• 자율 사이버보안 악용을 위한 LLM 에이전트의 비용과 실용성을 평가한다.

제안 방법

• 계층적 기획자, 팀 매니저, 작업별 전문 에이전트의 세 가지 구성요소로 HPTSA를 도입한다.
• Playwright, 터미널, 파일 도구에 접근 가능한 여섯 가지 전문 에이전트(XSS, SQLi, CSRF, SSTI, ZAP 및 일반 웹 해킹 에이전트)를 설계한다.
• 실험 전반에 GPT-4를 사용하고 LangChain/LangGraph로 에이전트를 조정하며 HTML 단순화를 통해 토큰 부하를 감소시킨다.
• GPT-4의 지식 컷오프 이후의 15개 실세계 웹 취약점 벤치마크를 구성하고 샌드박스 환경에서 악용 여부를 검증한다.
• 주요 지표로 pass-at-5(기본)와 pass-at-1 지표를 통해 성능을 평가하고, 어블레이션 연구 및 사례 연구를 수행한다.

실험 결과

연구 질문

• RQ1 다중 에이전트 LLM 시스템이 실세계 제로데이 웹 취약점을 자율적으로 악용할 수 있는가?
• RQ2 계층적 계획 및 작업별 특화가 장기적 취약점 악용에 어떤 영향을 미치는가?
• RQ3 HPTSA는 제로데이 취약점에서 단일 GPT-4 에이전트와 전통적 스캐너에 비해 어떻게 비교되는가?
• RQ4 에이전트 문서와 전문 에이전트가 높은 성능 달성에 어떤 역할을 하는가?

주요 결과

• HPTSA는 제로데이 벤치마크에서 pass at 5 53% 및 pass at 1 33.3%를 달성한다.
• HPTSA는 취약점 설명 없이 GPT-4에 비해 pass at 1에서 4.5배, pass at 5에서 2.7배 더 우수하다.
• HPTSA는 취약점 설명이 있는 GPT-4와 비교해 pass at 5에서 1.4배 이내로 수행한다.
• 오픈소스 스캐너(ZAP, Metasploit)는 벤치마크에서 0%를 달성한다.
• 전문 에이전트나 문서를 제거하면 성능이 크게 감소한다( pass at 1에서 최대 4배 감소, pass at 5에서 27% 감소).
• 에이전트 평균 실행 비용은 $4.39이고 전체 성공률은 18%로, 성공적 악용당 비용은 $24.39에 달한다.