[논문 리뷰] Modeling Penetration Testing with Reinforcement Learning Using Capture-the-Flag Challenges: Trade-offs between Model-free Learning and A Priori Knowledge

Fabio Massimo Zennaro, László Erdődi|arXiv (Cornell University)|2020. 05. 26.

Adversarial Robustness in Machine Learning인용 수 12

한 줄 요약

이 논문은 카피 더 플래그(Capture-the-Flag, CTF) 해킹 도전 과제를 강화학습(Reinforcement Learning, RL) 문제로 모델링하여 윤리적 해킹 자동화의 실현 가능성을 평가한다. 모델-프리 RL은 원칙적으로 CTF를 해결할 수 있음을 보여주지만, 상태 집합화, 애벌레 학습, 레이지 로딩과 같은 기법을 통해 사전 지식을 통합하면 샘플 효율성과 해결 속도가 극적으로 향상됨을 입증한다. 이는 RL 기반 윤리적 해킹 에이전트에서 자율성과 실용성 사이의 핵심적 상충 관계를 드러낸다.

ABSTRACT

Penetration testing is a security exercise aimed at assessing the security of a system by simulating attacks against it. So far, penetration testing has been carried out mainly by trained human attackers and its success critically depended on the available expertise. Automating this practice constitutes a non-trivial problem, as the range of actions that a human expert may attempts against a system and the range of knowledge she relies on to take her decisions are hard to capture. In this paper, we focus our attention on simplified penetration testing problems expressed in the form of capture the flag hacking challenges, and we analyze how model-free reinforcement learning algorithms may help to solve them. In modeling these capture the flag competitions as reinforcement learning problems we highlight that a specific challenge that characterize penetration testing is the problem of discovering the structure of the problem at hand. We then show how this challenge may be eased by relying on different forms of prior knowledge that may be provided to the agent. In this way we demonstrate how the feasibility of tackling penetration testing using reinforcement learning may rest on a careful trade-off between model-free and model-based algorithms. By using techniques to inject a priori knowledge, we show it is possible to better direct the agent and restrict the space of its exploration problem, thus achieving solutions more efficiently.

연구 동기 및 목표

• 강화학습(Reinforcement Learning, RL)이 CTF 도전 과제를 RL 환경으로 모델링함으로써 침투 테스팅 자동화가 가능한지 조사한다.
• RL 기반 침투 테스팅의 핵심 과제인 제한된 정보와 동적 방어 조건으로 인해 숨겨진 시스템 구조를 탐색하는 데 어려움이 있음을 규명하고 분석한다.
• 예를 들어 상태 추상화, 전문가 시연 등 다양한 형태의 사전 지식이 RL 에이전트의 샘플 효율성과 수렴 속도에 어떻게 기여하는지 평가한다.
• 모델-프리 RL의 자율성과 실용적 실현 가능성을 확보하기 위해 체계적인 지식을 통합하는 데 필수적인 이유 사이의 상충 관계를 탐색한다.
• 확장 가능하고 효과적인 자동 침투 테스팅을 위해 모델-프리 탐색과 모델 기반의 인덕티브 바이어스를 균형 잡는 하이브리드 접근법을 제안한다.

제안 방법

• 상태가 시스템 구성으로 표현되고 행동이 공격 시도로 표현되는 마르코프 결정 과정(Markov Decision Processes, MDPs)으로 CTF 도전 과제를 공식화한다.
• 다양한 수준의 모호성과 비정적 특성을 가진 단순화된 CTF 환경을 해결하기 위해 표본 Q-러닝 에이전트를 구현한다.
• 레이지 로딩(지연된 상태 초기화), 상태 집합화(유사한 상태 그룹화), 애벌레 학습(전문가 에이전트의 시연)을 통해 사전 지식을 통합한다.
• 고 엔트로피 및 동적 조건에서 수렴 속도, 성공률, 샘플 효율성 측면에서 여러 시뮬레이션 시나리오에서 성능을 평가한다.
• 표준 RL 인터페이스와 오픈소스 구현을 사용하여 기존 RL 연구 도구와의 호환성을 확보하고 다학제적 협업을 촉진한다.
• 미래 확장 방향으로서 함수 근사, 계층적 분해, 오프-폴리시 학습 및 리워드 형상 조정을 위한 모델 학습을 탐색한다.

실험 결과

연구 질문

• RQ1 모델-프리 강화학습이 사전 시스템 구조 지식 없이 CTF 도전 과제를 얼마나 잘 해결할 수 있는가?
• RQ2 정보 은폐나 동적 변화로 인해 시스템 구조가 관측 불가능한 경우, 이는 RL 에이전트의 학습 과정에 어떤 영향을 미치는가?
• RQ3 예를 들어 상태 집합화나 전문가 시연와 같은 사전 지식은 CTF 환경에서 RL 에이전트의 샘플 효율성과 수렴 속도에 어떤 방식으로 기여하는가?
• RQ4 자동 침투 테스팅을 자동화할 때 모델-프리 탐색과 모델 기반의 인덕티브 바이어스 사이의 최적의 균형은 무엇인가?
• RQ5 다양한 CTF 문제에 일반화할 수 있도록 설계된 RL 에이전트는 어떻게 해야 실세계의 복잡한 공격 표면에서도 효과적으로 기능할 수 있는가?

주요 결과

• 모델-프리 Q-러닝 에이전트는 원칙적으로 단순화된 CTF 도전 과제를 해결할 수 있지만, 시스템 구조가 은폐되거나 동적일 경우 상호작용 수가 기하급수적으로 증가하여 실용적으로 비현실적이게 된다.
• 레이지 로딩은 관련 상태가 등장할 때까지 상태 초기화를 연기함으로써 상태 공간의 폭발을 크게 줄이며, 학습 안정성과 수렴 속도를 향상시킨다.
• 의미적으로 유사한 상태를 그룹화하는 상태 집합화 기법은 고 엔트로피 환경에서 특히 빠른 학습과 높은 성공률을 이끌어내었다.
• 전문가 시연를 통한 애벌레 학습은 더 적은 에피소드 수로 근사 최적 성능에 도달하게 해주었으며, 탐색 시간을 줄이는 데 있어 행동 클로닝의 가치를 입증하였다.
• 사전 지식의 통합은 단지 유익한 것이 아니라 실용적 실현 가능성을 확보하기 위해 필수적이었으며, 순수 모델-프리 학습은 복잡한 시나리오에서 합리적인 시간 내에 수렴하지 못했다.
• 본 연구는 향후 RL 기반 침투 테스팅 에이전트가 순수 모델-프리 학습에 의존해서는 안 되며, 대신 체계적인 인덕티브 바이어스와 사전 지식을 통합하여 확장 가능하고 효율적인 취약점 탐지 기능을 달성해야 한다고 결론 내린다.