[논문 리뷰] Autonomous Penetration Testing using Reinforcement Learning

Jonathon Schwartz, Hanna Kurniawati|arXiv (Cornell University)|2019. 05. 15.

Advanced Malware Detection Techniques참고 문헌 37인용 수 62

한 줄 요약

이 논문은 환경 모델 없이도 모델-프리 강화학습을 자동화된 펜테스트에 적용하는 것을 빠른 시뮬레이터를 구축하고 Q-learning (tabular and neural network)을 시뮬레이션된 네트워크에서 공격 경로를 찾기 위해 평가하는 것을 탐구한다.

ABSTRACT

Penetration testing (pentesting) involves performing a controlled attack on a computer system in order to assess it's security. Although an effective method for testing security, pentesting requires highly skilled practitioners and currently there is a growing shortage of skilled cyber security professionals. One avenue for alleviating this problem is automate the pentesting process using artificial intelligence techniques. Current approaches to automated pentesting have relied on model-based planning, however the cyber security landscape is rapidly changing making maintaining up-to-date models of exploits a challenge. This project investigated the application of model-free Reinforcement Learning (RL) to automated pentesting. Model-free RL has the key advantage over model-based planning of not requiring a model of the environment, instead learning the best policy through interaction with the environment. We first designed and built a fast, low compute simulator for training and testing autonomous pentesting agents. We did this by framing pentesting as a Markov Decision Process with the known configuration of the network as states, the available scans and exploits as actions, the reward determined by the value of machines on the network. We then used this simulator to investigate the application of model-free RL to pentesting. We tested the standard Q-learning algorithm using both tabular and neural network based implementations. We found that within the simulated environment both tabular and neural network implementations were able to find optimal attack paths for a range of different network topologies and sizes without having a model of action behaviour. However, the implemented algorithms were only practical for smaller networks and numbers of actions. Further work is needed in developing scalable RL algorithms and testing these algorithms in larger and higher fidelity environments.

연구 동기 및 목표

• 자동화된 펜테스트를 촉진하여 사이버보안 전문가 부족 문제에 대응합니다.
• 펜테스트를 위한 모델 기반 계획의 대안으로 모델-프리 RL을 조사합니다.
• 펜테스트를 마르코프 의사결정 과정으로 구성하는 빠르고 저계산량의 시뮬레이터를 개발합니다.
• 최적의 공격 경로를 발견하기 위해 Q-learning (tabular and neural network)을 평가합니다.
• 더 크고 더 높은 충실도의 환경에 대한 확장성 한계와 향후 방향을 식별합니다.

제안 방법

• 네트워크 구성은 상태로 간주되는 자율 펜테스트를 위한 빠른 시뮬레이터 설계.
• 스캔과 익스플로잇을 행동으로 삼아 펜테스트를 마르코프 의사결정 과정으로 공식화합니다.
• 모델 없는 RL, 구체적으로 Q-learning을 적용하여 행동의 동작에 대한 모델 없이 정책을 학습합니다.
• 시뮬레이터에서 Q-learning의 표형(tabular)과 신경망(neural network) 구현을 비교합니다.
• 다양한 네트워크 토폴로지와 규모에서의 성능을 평가합니다.
• 더 큰 행동 공간과 네트워크에 대한 실용성 한계에 대한 논의.

실험 결과

연구 질문

• RQ1 모델-프리 강화학습이 정의된 환경 모델 없이도 최적의 펜테스트 정책을 학습할 수 있는가?
• RQ2 표형(tabular) 및 신경망 기반 Q-learning 접근법이 자율 펜테스트에서 현실적인 네트워크 규모로 확장되는가?
• RQ3 확장성 및 충실도 측면에서 현재의 펜테스트 RL 방법의 한계는 무엇인가?
• RQ4 시뮬레이터 프레임워크가 서로 다른 네트워크 구성과 공격을 어떻게 평가하도록 지원하는가?

주요 결과

• 표형(tabular)과 신경망(neural-network) Q-learning 모두 분석된 시뮬레이션 환경에서 최적의 공격 경로를 식별할 수 있다.
• RL 기반 에이전트가 행동 동작 모델링 없이도 효과적인 정책을 학습했다.
• 작은 네트워크와 작동 수에서의 결과는 고무적이지만 더 크고 복잡한 설정에 대해서는 확장성 및 실용성의 문제가 나타난다.
• 이 연구는 확장 가능한 RL 알고리즘과 더 높은 충실도의 테스트 환경의 필요성을 강조한다.