[논문 리뷰] Modeling Penetration Testing with Reinforcement Learning Using Capture-the-Flag Challenges and Tabular Q-Learning

Fabio Massimo Zennaro, László Erdődi|arXiv (Cornell University)|2020. 05. 26.

Adversarial Robustness in Machine Learning참고 문헌 8인용 수 26

한 줄 요약

이 논문은 강화학습(RL) 환경으로서 캡처더플래그(CTF) 해킹 도전 과제를 모델링하여 침투 테스팅의 자동화를 시도한다. 표형 Q-학습을 사용하여 RL 기반 침투 테스팅 응용 분야로의 확장에 앞서, 행동 공간 설계, 희소 보상, 상태 표현과 같은 핵심 과제들을 규명하고, 이에 대한 타당성을 입증한다.

ABSTRACT

Penetration testing is a security exercise aimed at assessing the security of a system by simulating attacks against it. So far, penetration testing has been carried out mainly by trained human attackers and its success critically depended on the available expertise. Automating this practice constitutes a non-trivial problem, as the range of actions that a human expert may attempts against a system and the range of knowledge she relies on to take her decisions are hard to capture. In this paper, we focus our attention on simplified penetration testing problems expressed in the form of capture the flag hacking challenges, and we apply reinforcement learning algorithms to try to solve them. In modelling these capture the flag competitions as reinforcement learning problems we highlight the specific challenges that characterize penetration testing. We observe these challenges experimentally across a set of varied simulations, and we study how different reinforcement learning techniques may help us addressing these challenges. In this way we show the feasibility of tackling penetration testing using reinforcement learning, and we highlight the challenges that must be taken into consideration, and possible directions to solve them.

연구 동기 및 목표

• 통제된 간단한 환경에서 침투 테스팅의 자동화 가능성을 탐색한다.
• CTF 해킹 도전 과제를 RL 훈련에 적합한 마르코프 결정 과정으로 모델링한다.
• RL을 침투 테스팅에 적용할 때 발생하는 핵심 과제, 예를 들어 희소 보상과 복잡한 행동 공간 등을 규명하고 분석한다.
• 다양한 RL 기법이 시뮬레이션된 CTF 시나리오에서 이러한 과제를 어떻게 해결할 수 있는지 평가한다.

제안 방법

• 저자들은 에이전트가 순차적 행동을 통해 취약점을 악용할 수 있도록, 격자 기반 환경 유사한 환경으로 CTF 도전 과제를 모델링한다.
• 함수 근사 없이 상태-행동 가치 추정을 위한 표형 Q-학습 알고리즘을 사용하여 에이전트를 훈련시킨다.
• 환경는 이산 상태로 시스템 구성 상태를 표현하고, 행동은 취약점 악용 또는 탐색 단계를 나타낸다.
• 행동 공간은 스캐닝, 취약점 악용, 권한 상승과 같은 일반적인 침투 테스팅 작업을 포함한다.
• 성공적인 플래그 확보 시에만 희소 보상을 부여하여 실제 해커 공격 성공 상황을 시뮬레이션한다.
• 학습 성능과 안정성을 평가하기 위해 다양한 복잡도를 지닌 여러 CTF 시나리오에서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 강화학습은 단순화된 CTF 환경에서 침투 테스팅 작업을 효과적으로 학습할 수 있는가?
• RQ2 침투 테스팅을 RL 문제로 모델링할 때 행동 공간 및 보상 형상화와 관련된 핵심 과제는 무엇인가?
• RQ3 다양한 RL 하이퍼파라미터와 환경 설계가 학습 수렴성과 성공률에 어떤 영향을 미치는가?
• RQ4 딥 네트워크 없이 표형 Q-학습이 CTF 과제를 어느 정도 해결할 수 있는가?

주요 결과

• 표형 Q-학습을 사용한 강화학습은 기본적인 CTF 과제를 성공적으로 해결하여, 단순한 환경에서 침투 테스팅의 자동화 가능성을 입증한다.
• 학습 과정은 보상 형상화에 매우 민감하며, 희소 보상은 수렴 속도를 크게 저하시킨다.
• 행동 공간의 설계는 학습 효율성에 결정적인 영향을 미치며, 너무 크거나 잘 구성되지 않은 행동 공간은 성능을 떨어뜨린다.
• 더 단순한 CTF 시나리오에서 훈련된 에이전트는 더 복잡한 시나리오로의 일반화 성능이 떨어지며, 이는 이전성의 한계를 보여준다.
• 실제 운영 환경에 적용하기 위해 향후 연구가 필요로 하는 핵심 과제로 상태 표현 및 행동 추상화를 규명한다.
• 한계가 있음에도 불구하고 결과는 RL이 규칙 기반의 제어된 침투 테스팅 환경에서 공격적 행동을 학습할 수 있음을 보여준다.