[논문 리뷰] The Agent Web Model -- Modelling web hacking for reinforcement learning

László Erdődi, Fabio Massimo Zennaro|arXiv (Cornell University)|2020. 09. 23.

Advanced Malware Detection Techniques참고 문헌 23인용 수 4

한 줄 요약

이 논문은 웹 침투 테스팅을 일곱 단계의 추상화 수준에서 강화학습(RL) 문제로 공식화하는 형식적 프레임워크인 Agent Web Model을 소개한다. 이는 단순한 웹 해킹 과제에서 복잡한 과제에 이르기까지 다양한 수준의 웹 침투 테스트를 다룬다. 첫 번째부터 세 번째 수준에 대해 OpenAI Gym 호환 구현을 제공하여, 윤리적인 레드팀 작업을 위한 강화학습 에이전트의 표준화된 훈련을 가능하게 하며, 안전하고 통제된 환경에서 플래그를 확보하기 위해 취약점 이용을 중심으로 한다.

ABSTRACT

Website hacking is a frequent attack type used by malicious actors to obtain confidential information, modify the integrity of web pages or make websites unavailable. The tools used by attackers are becoming more and more automated and sophisticated, and malicious machine learning agents seems to be the next development in this line. In order to provide ethical hackers with similar tools, and to understand the impact and the limitations of artificial agents, we present in this paper a model that formalizes web hacking tasks for reinforcement learning agents. Our model, named Agent Web Model, considers web hacking as a capture-the-flag style challenge, and it defines reinforcement learning problems at seven different levels of abstraction. We discuss the complexity of these problems in terms of actions and states an agent has to deal with, and we show that such a model allows to represent most of the relevant web vulnerabilities. Aware that the driver of advances in reinforcement learning is the availability of standardized challenges, we provide an implementation for the first three abstraction layers, in the hope that the community would consider these challenges in order to develop intelligent web hacking agents.

연구 동기 및 목표

• 윤리적 해킹을 위한 지능형 에이전트 훈련을 가능하게 하기 위해 웹 침투 테스팅을 강화학습 문제로 체계적으로 공식화하는 것.
• 강화학습 에이전트의 웹 보안 분야 훈련을 위한 표준화되고 확장 가능한 과제의 부족을 해결하는 것.
• 웹 취약점과 공격 표면의 복잡성이 점차 증가하는 것을 반영하는 7단계의 계층적 추상화 모델을 개발하는 것.
• 실제 웹 해킹 작업에 기반한 재사용 가능하고 커스터마이징 가능하며 윤리적인 벤치마크를 제공하여 강화학습 에이전트의 훈련을 가능하게 하는 것.
• CTF 스타일 과제를 강화학습 공식과 연결함으로써 기계학습 및 사이버보안 연구자 간의 협력을 촉진하는 것.

제안 방법

• Agent Web Model은 상태가 웹사이트의 구성으로 표현되고, 행동이 HTTP 요청으로 표현되는 마르코프 결정 과정(MDP)으로 웹 해킹을 공식화한다.
• 일곱 단계의 추상화 수준을 정의하며, 각 수준은 파일, 매개변수, 세션 등의 객체 수, 행동 수, 공격 표면 요소의 수를 증가시켜 복잡도를 점차 높인다.
• 각 수준은 CTF 스타일 게임 프레임워크 내에서 특정 유형의 취약점(예: SQL 인젝션, XSS, 파일 인클루전, 권한 상승)을 모델링한다.
• 에이전트의 행동(HTTP 요청)이 플래그 확보 또는 진행 상황에 따라 새로운 상태와 보상 신호를 생성하는 상태 전이 메커니즘을 사용한다.
• 첫 번째부터 세 번째 추상화 수준은 OpenAI Gym 인터페이스를 사용하여 구현되어 기존의 강화학습 알고리즘 및 훈련 파이프라인과의 통합이 가능하다.
• 과제는 매개변수 기반으로 구성 가능하여, 다양한 랜덤화된 웹 해킹 시나리오를 생성해 강력한 에이전트 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 다양한 추상화 수준에서 웹 침투 테스팅을 체계적으로 강화학습 문제로 공식화할 수 있는가?
• RQ2 추상화 수준이 증가함에 따라 상태 공간, 행동 공간, 그리고 강화학습 에이전트의 학습 난이도에 어떤 영향을 미치는가?
• RQ3 실제 세계의 위험 없이도 실제 웹 취약점에 기반한 강화학습 에이전트 훈련을 위한 표준화되고 커스터마이징 가능하며 안전한 환경을 구축할 수 있는가?
• RQ4 다양한 취약점 유형(예: SQLi, XSS, RCE)이 Agent Web Model 내에서 어떻게 다른 강화학습 문제 구조로 매핑되는가?
• RQ5 제안된 프레임워크가 강화학습 및 사이버보안 분야 연구의 발전을 위해 얼마나 효과적인 벤치마크로 기능할 수 있는가?

주요 결과

• Agent Web Model은 상태 공간과 행동 공간의 복잡도가 점차 증가하는 일곱 단계의 추상화 수준에서 웹 해킹을 계층적 강화학습 문제로 성공적으로 공식화하였다.
• 모델의 첫 번째부터 세 번째 수준은 OpenAI Gym 표준을 사용하여 구현되어 기존의 강화학습 훈련 파이프라인 및 알고리즘과 직접 통합이 가능하다.
• 구현은 매개변수 기반 구성이 가능하여, 다양한 랜덤화되지만 일관된 웹 해킹 과제를 생성해 에이전트 훈련에 활용할 수 있다.
• 구조화된 상태 및 행동 정의를 통해 실제 취약점인 SQL 인젝션, XSS, 파일 인클루전, 권한 상승 등을 포괄하는 광범위한 범위의 취약점을 모델링한다.
• 플래그 확보를 위한 개념 증명 중심의 공격을 허용하는 안전하고 윤리적이며 표준화된 환경을 제공하여 웹 보안 작업에 대한 강화학습 에이전트 훈련을 가능하게 한다.
• 저자들은 이 모델이 사이버보안 분야의 강화학습 연구, 특히 자동 침투 테스팅 분야에서 발전을 이끌 수 있는 비트리비얼한 학습 과제를 생성할 수 있음을 입증하였다.