[논문 리뷰] Deep Reinforcement Learning for Autonomous Cyber Defence: A Survey

Gregory M. Palmer, Chris Parry외 2명|arXiv (Cornell University)|2023. 10. 11.

Adversarial Robustness in Machine LearningComputer Science인용 수 3

한 줄 요약

이 종합적 서베이는 자율 사이버 운영(Autonomous Cyber Operations, ACO)에서 깊이 강화학습(Deep Reinforcement Learning, DRL)을 위한 종합적인 프레임워크를 제안하며, 고차원 상태 공간, 큰 행동 공간, 그리고 적대적 공격 가능성 문제를 다룬다. 기존 DRL 벤치마크 평가, 상태 추상화 및 탐색 기법 검토, 적대적 환경에서의 에이전트 취약성 감소 방법에 대한 비판적 분석을 통해 확장 가능하고 안정적인 ACO 시스템의 기반을 제공한다.

ABSTRACT

The rapid increase in the number of cyber-attacks in recent years raises the need for principled methods for defending networks against malicious actors. Deep reinforcement learning (DRL) has emerged as a promising approach for mitigating these attacks. However, while DRL has shown much potential for cyber defence, numerous challenges must be overcome before DRL can be applied to the autonomous cyber defence (ACD) problem at scale. Principled methods are required for environments that confront learners with very high-dimensional state spaces, large multi-discrete action spaces, and adversarial learning. Recent works have reported success in solving these problems individually. There have also been impressive engineering efforts towards solving all three for real-time strategy games. However, applying DRL to the full ACD problem remains an open challenge. Here, we survey the relevant DRL literature and conceptualize an idealised ACD-DRL agent. We provide: i.) A summary of the domain properties that define the ACD problem; ii.) A comprehensive comparison of current ACD environments used for benchmarking DRL approaches; iii.) An overview of state-of-the-art approaches for scaling DRL to domains that confront learners with the curse of dimensionality, and; iv.) A survey and critique of current methods for limiting the exploitability of agents within adversarial settings from the perspective of ACD. We conclude with open research questions that we hope will motivate future directions for researchers and practitioners working on ACD.

연구 동기 및 목표

• 자율 사이버 운영(ACO)의 핵심 과제를 적대적, 고차원적, 다중 에이전트 강화학습 문제로 정의하기.
• 기존 DRL 벤치마크 환경이 실제 ACO 시나리오를 모델링하는 데 적합한지 평가하기.
• 고차원 상태 및 행동 공간을 다루는 최신 DRL 기법을 식별하고 분석하기.
• 적대적 사이버 환경에서 DRL 에이전트의 취약성을 제한하는 방법을 비판적으로 평가하기.
• 확장 가능하고, 안정적이며, 자율적인 사이버 방어 시스템을 향한 DRL 기반 발전을 위한 열린 연구 과제 개선하기.

제안 방법

• 사이버 방어에 중점을 둔 DRL 문헌을 종합적으로 검토하여, 상태 추상화 및 내재적 탐색을 통해 고차원 상태 공간 문제를 해결하는 방법을 식별한다.
• Atari, Procgen, 실시간 전략 게임 등에서 유래한 벤치마크 환경이 ACO 환경의 복잡성을 얼마나 잘 모방하는지 평가한다.
• 계층적 및 옵션 기반 DRL 아키텍처(예: FeUSe, H-DQN, Eigenoptions)를 검토하여 다중 척도 학습을 가능하게 하고 탐색 난이도를 낮춘다.
• 지속적 학습 및 치명적 기억 상실을 완화하는 기법(예: 분할 정책 및 재생 버퍼를 활용한 경험 재생)을 분석한다.
• 적대적 강건성 기법을 분석하며, 내재적 호기심, 신규성 탐지, 보상 형상 조정을 통해 에이전트의 저항력을 향상시킨다.
• 기존 DRL 솔루션을 ACO의 세 핵심 과제인 차원의 문제, 행동 공간 크기, 적대적 공격 가능성에 매핑하고, 개념적 이상화된 ACO-DRL 에이전트를 제안한다.

실험 결과

연구 질문

• RQ1 기존 DRL 벤치마크 환경은 실제 자율 사이버 운영(ACO)의 복잡성을 어느 정도 정확하게 반영하는가?
• RQ2 ACO에서 고차원 상태 공간을 다루는 데 가장 효과적인 DRL 기법은 무엇이며, 그 스케일링 능력은 어떠한가?
• RQ3 ACO의 큰 조합적 행동 공간은 DRL을 통해 어떻게 효과적으로 모델링하고 탐색할 수 있는가?
• RQ4 적대적 사이버 방어 시나리오에서 DRL 에이전트의 취약성을 줄이기 위해 어떤 방법을 사용할 수 있는가?
• RQ5 확장 가능하고, 원칙적이며, 안정적인 DRL 기반 ACO 시스템을 구축하기 위해 남아 있는 열린 연구 과제는 무엇인가?

주요 결과

• Procgen 및 StarCraft II와 같은 실시간 전략 게임은 행동 공간의 구조와 환경 역학에서의 차이로 인해 ACO에 대한 실용적인 유사성은 있으나 완전한 대체가 되지 않는다.
• VQ-AE 및 딥 바이시뮬레이션과 같은 상태 추상화 기법은 작업에 관련된 정보를 유지하면서도 상태 공간의 차원을 줄이는 데 효과적이다.
• 내재적 호기심 및 에피소드 메모리 기반 탐색 기법(예: HOMER, Savinovepisodic)은 고차원적이고 보상이 희박한 환경에서 학습 효율을 크게 향상시킨다.
• 공유된 특징 추출기와 작업별 헤드를 갖춘 분할 정책 아키텍처는 변화하는 사이버 위협에 대응하는 지속적 학습 환경에서 치명적 기억 상실을 효과적으로 완화한다.
• ACO를 위한 DRL의 적대적 강건성 문제는 아직 해결되지 않은 과제이며, 현재 기법들은 부분적인 보호 기능을 제공하지만 전체 ACO 복잡성에 대비한 확장성에 빈도가 떨어진다.
• 현재까지의 단일 DRL 접근 방식은 ACO의 세 핵심 과제를 동시에 해결하지 못하고 있어, 통합적이고 다면적인 에이전트 설계의 필요성이 뚜렷하다.