[논문 리뷰] A Layered Reference Model for Penetration Testing with Reinforcement Learning and Attack Graphs

Tyler Cody|arXiv (Cornell University)|2022. 06. 14.

Information and Cyber Security인용 수 4

한 줄 요약

이 논문은 시스템 공학 프레임워크를 통해 공격 그래프를 실제 네트워크와 통합함으로써 강화학습(RL)-기반 침투 테스팅에서의 레퍼런스 문제를 해결하기 위해 계층적 레퍼런스 모델(LRM-RAG)을 제안한다. 이 모델은 실시간 상호작용, 현실적인 적대자 에뮬레이션, 동적 네트워크에의 적응을 가능하게 하여 RL 기반 사이버 방어 시스템의 신뢰성과 실용적 구현을 향상시킨다.

ABSTRACT

This paper considers key challenges to using reinforcement learning (RL) with attack graphs to automate penetration testing in real-world applications from a systems perspective. RL approaches to automated penetration testing are actively being developed, but there is no consensus view on the representation of computer networks with which RL should be interacting. Moreover, there are significant open challenges to how those representations can be grounded to the real networks where RL solution methods are applied. This paper elaborates on representation and grounding using topic challenges of interacting with real networks in real-time, emulating realistic adversary behavior, and handling unstable, evolving networks. These challenges are both practical and mathematical, and they directly concern the reliability and dependability of penetration testing systems. This paper proposes a layered reference model to help organize related research and engineering efforts. The presented layered reference model contrasts traditional models of attack graph workflows because it is not scoped to a sequential, feed-forward generation and analysis process, but to broader aspects of lifecycle and continuous deployment. Researchers and practitioners can use the presented layered reference model as a first-principles outline to help orient the systems engineering of their penetration testing systems.

연구 동기 및 목표

• RL 기반 침투 테스팅에서 네트워크 표현 및 레퍼런스화에 대한 공감대 부족이 시스템의 신뢰성과 내구성에 악영향을 미치므로 이를 해결한다.
• 실시간으로 라이브 네트워크와 상호작용하는 데 있어 핵심 과제, 현실적인 적대자 행동 모델링, 불안정하거나 변화하는 네트워크 토폴로지 처리 문제를 규명한다.
• 기존의 피드포워드 공격 그래프 워크플로우를 넘어서, RL 기반 침투 테스팅 분야의 연구 및 공학적 노력을 통합하고 이끌어내는 체계적 프레임워크를 제공한다.
• 공격 그래프 생성을 철저히 수행하지 않고도 표현 방식을 분리함으로써, RL 에이전트를 실재 네트워크에 더 직접적이고 강력하게 레퍼런스화할 수 있도록 한다.
• 생산 환경에서의 지속적 배포 및 라이프사이클 관리 지원을 위해, RL 기반 침투 테스팅 시스템의 운영을 가능하게 한다.

제안 방법

• 침투 테스팅에서 RL과 공격 그래프를 사용하는 것을, 토양, 적대자, 작업, MDP, 액추에이션의 별도의 추상화 계층으로 구성된 계층적 레퍼런스 모델(LRM-RAG)로 조직한다.
• RL 상호작용을 순차적 피드포워드 과정이 아닌, 에이전트 학습과 네트워크 적응을 위한 두 개의 중첩된 루프를 포함하는 지속적이고 피드백 기반의 라이프사이클로 프레임워크화한다.
• 에이전트가 공격 경로의 동적 업데이트된 최소 표현에 상호작용하도록 함으로써, 공격 그래프 생성을 RL 에이전트 훈련에서 분리한다.
• MDP(마르코프 결정 과정)를 사용하여 RL 에이전트의 의사결정을 핵심 형식론으로 모델링하며, 상태는 네트워크 구성, 행동은 공격 시도를 나타낸다.
• 실제 침투 테스팅 작업으로의 RL 행동 번역을 가능하게 하기 위해 네트워크 인터페이스 계층을 통합함으로써 실시간으로 실제 시스템에 직접 레퍼런스화를 보장한다.
• 변화하는 네트워크 환경에서 일반화 및 내구성을 향상시키기 위해, 네트워크 상태 간의 전이 및 메타학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전에 계산된 철저한 공격 그래프에 의존하지 않고, 실시간으로 실재 네트워크에 RL 에이전트를 효과적으로 레퍼런스화하는 방법은 무엇인가?
• RQ2 특히 동적 네트워크 조건 하에서, RL 기반 침투 테스팅 시스템 내에서 적대자 행동을 현실적으로 에뮬레이션할 수 있는 메커니즘은 무엇인가?
• RQ3 네트워크가 빠르게 변화하는 상황(예: SDN 또는 IoT 환경)에서 RL 에이전트가 신뢰성 있는 레퍼런스화를 유지할 수 있는 방법은 무엇인가?
• RQ4 공격 그래프 생성을 RL 훈련에서 얼마나 분리할 수 있으며, 이로 인해 효율성과 확장성 향상이 가능할까?
• RQ5 MDP 설정과 표현 선택의 역할이 RL 기반 침투 테스팅 시스템의 신뢰성과 내구성 확보에 얼마나 기여하는가?

주요 결과

• 철저하고 간결한 공격 그래프의 경우 RL에서 '바늘을 풀에서 찾는' 문제를 야기하여 계산 비용이 증가하고, 특정 문제를 직접 해결하는 원칙을 위반한다.
• RL 에이전트는 모든 가능한 공격 경로를 탐색할 필요가 없으며, 특정 공격 템플릿이나 적대자 프로파일과 일치하는 현실적인 부분그래프를 탐색하는 데 집중해야 한다.
• 실시간 네트워크 인터페이스 계층을 통한 직접적인 레퍼런스화 방식은 수작업으로 설계된 보상 함수나 고수준 추상화에 의존하는 것보다 더 신뢰할 수 있다.
• 네트워크 변화 속도가 MDP 구축 속도를 뛰어넘을 경우, 동적이고 적응형 레퍼런스화가 구현되지 않으면 표현이 오래되고 에이전트 성능이 저하된다.
• SDN 및 IoT 시스템과 같은 동적 네트워크는 빠른 토폴로지 및 구성 변화로 인해 RL 기반 침투 테스팅에 상당한 과제를 제기한다.
• 계층적 레퍼런스 모델(LRM-RAG)은 시스템 공학, 공격 그래프 모델링, RL 에이전트 설계 간의 더 나은 일치를 가능하게 하며, 지속적 배포 및 적응을 지원한다.