[논문 리뷰] Deep hierarchical reinforcement agents for automated penetration testing

Khuong Tran, Ashlesha Akella외 5명|arXiv (Cornell University)|2021. 09. 14.

Advanced Malware Detection Techniques참고 문헌 10인용 수 23

한 줄 요약

이 논문은 하위 에이전트 훈련을 사용하여 대규모 이산 행동 공간을 분해하는 딥 히에라르키컬 강화학습 아키텍처인 HA-DRL을 제안한다. 에이전트를 계층적으로 구성하고 대수적 행동 분해를 적용함으로써 HA-DRL은 기존 DQN 에이전트보다 더 빠르고 안정적인 수렴을 달성하며, 최대 100台의 호스트와 4,646개의 행동을 포함하는 복잡한 네트워크에서도 최적의 공격 정책을 성공적으로 학습한다. 이와 같은 환경에서는 표준 DQN이 완전히 실패한다.

ABSTRACT

Penetration testing the organised attack of a computer system in order to test existing defences has been used extensively to evaluate network security. This is a time consuming process and requires in-depth knowledge for the establishment of a strategy that resembles a real cyber-attack. This paper presents a novel deep reinforcement learning architecture with hierarchically structured agents called HA-DRL, which employs an algebraic action decomposition strategy to address the large discrete action space of an autonomous penetration testing simulator where the number of actions is exponentially increased with the complexity of the designed cybersecurity network. The proposed architecture is shown to find the optimal attacking policy faster and more stably than a conventional deep Q-learning agent which is commonly used as a method to apply artificial intelligence in automatic penetration testing.

연구 동기 및 목표

• 자동 침투 테스팅에서 기하급수적으로 증가하는 행동 공간 문제를 해결함으로써, 기존 딥 강화학습(DRL) 방법의 성능을 저해하는 요소를 제거한다.
• 네트워크에 대한 광범위한 사전 지식 없이도 최적의 공격 전략을 학습할 수 있는 확장 가능하고 안정적인 DRL 아키텍처를 개발한다.
• 희소 보상 환경에서 표준 DQN 에이전트의 불안정성과 열악한 수렴 성능을 극복한다.
• 히에라르키컬 에이전트 분해를 통해 복잡하고 현실적인 침투 테스팅 시나리오에서 효율적인 탐색과 정책 학습을 가능하게 한다.
• 최소한의 도메인 특화 엔지니어링으로 대규모 실생활과 유사한 네트워크 공격 시뮬레이션에 딥 강화학습을 적용할 수 있음을 입증한다.

제안 방법

• 대수적 행동 분해를 사용하여 전역 행동 공간을 더 작고 관리하기 쉬운 부분집합으로 나누는 히에라르키컬 에이전트 아키텍처(HA-DRL)를 제안한다.
• 각 행동 부분집합에서 개별 DQN 에이전트를 독립적으로 훈련함으로써, 하위 선형 계산 성장과 병렬적이고 확장 가능한 학습을 가능하게 한다.
• 상위 수준의 에이전트가 하위 에이전트를 선택하고, 하위 에이전트가 할당된 행동 집합 내에서 행동을 실행하는 순차적 의사결정 과정을 적용한다.
• 각 하위 에이전트에서 가치 함수 근사에 딥 Q네트워크(DQN)와 더블 Q러닝(DDQN)을 적용하여 안정성 향상과 과도한 추정 방지를 개선한다.
• CybORG 시뮬레이터를 활용하여 호스트 수와 행동 공간 크기가 다양하게 변하는 다양한 네트워크 구성에서 아키텍처를 검증한다.
• t-SNE를 사용하여 학습된 상태 표현을 시각화함으로써, 에이전트가 명시적인 지도 없이도 의미 있는 구조적 패턴(예: 서브넷)을 발견하는지 분석한다.

실험 결과

연구 질문

• RQ1 히에라르키컬 DRL 아키텍처는 자동 침투 테스팅에서 기하급수적으로 증가하는 행동 공간을 효과적으로 관리할 수 있는가?
• RQ2 대규모 네트워크 시나리오에서 HA-DRL은 표준 DQN 에이전트에 비해 학습 속도, 안정성, 수렴 성능 측면에서 어떻게 비교되는가?
• RQ3 행동의 히에라르키컬 분해는 침투 테스팅에서 흔히 나타나는 희소 보상 환경에서 더 나은 정책 학습을 이끌어내는가?
• RQ4 에이전트는 네트워크의 구조적 표현(예: 서브넷)을 명시적인 토폴로지 지식 없이도 학습할 수 있는가?
• RQ5 HA-DRL은 행동 공간이 크게 증가한 더 큰 네트워크에 대해 어느 정도 확장 가능한가?

주요 결과

• HA-DRL은 최대 100대의 호스트와 4,646개의 행동을 포함하는 모든 테스트 시나리오에서 DDQN보다 더 빠르고 안정적인 수렴을 달성했다.
• 100대 호스트 시나리오에서 DDQN은 행동 공간을 탐색할 수 없어 의미 있는 정책을 학습하지 못했지만, HA-DRL은 약 4,000 에피소드 만에 최적의 정책으로 수렴했다.
• 60대 및 70대 호스트 시나리오에서는 DDQN이 4번의 훈련 중 1번만 성공했지만, HA-DRL은 일관되게 최적의 성능을 기록했다.
• t-SNE 시각화 결과, 50대 호스트 구성에서 9개의 개인 서브넷에 해당하는 9개의 명확한 군집으로 자연스럽게 분리된 상태 표현을 학습한 것으로 나타났으며, 이는 서브넷에 대한 명시적 정보가 제공되지 않았음에도 불구하고 성립했다.
• 각 하위 에이전트는 자신의 로컬 행동 집합에서 2~3개의 행동만을 사용하여 최적의 공격 경로를 달성했으며, 이는 효과적인 행동 정제와 정책 특화를 의미한다.
• 행동 공간이 49개에서 4,646개로 증가함에 따라 HA-DRL은 에이전트 수를 단지 2~4명만 증가시켰으며, 이는 하위 선형 계산 복잡도 성장의 특성을 보여주었다.