[논문 리뷰] On Autonomous Agents in a Cyber Defence Environment

Mitchell Kiely, David Bowman외 2명|arXiv (Cornell University)|2023. 09. 14.

Information and Cyber SecurityComputer Science인용 수 3

한 줄 요약

이 논문은 CAGE 챌린지 2, 즉 다중 에이전트 공격적 환경에서의 후기 공격 및 횡단 이동을 시뮬레이션하는 환경을 사용하여 딥 강화학습(DRL) 및 비-DRL 접근법을 기반으로 한 자율 사이버 방어를 평가한다. 계층적 DRL 접근법은 공격자인 레드 에이전트의 행동에 따라 변화하는 전문화되고 적응 가능한 방어 전략을 학습함으로써 다른 방법들을 능가했으며, 이는 DRL이 실제 자율 사이버 방어 시스템에 매우 높은 잠재력을 지닌다는 것을 보여준다.

ABSTRACT

Autonomous Cyber Defence is required to respond to high-tempo cyber-attacks. To facilitate the research in this challenging area, we explore the utility of the autonomous cyber operation environments presented as part of the Cyber Autonomy Gym for Experimentation (CAGE) Challenges, with a specific focus on CAGE Challenge 2. CAGE Challenge 2 required a defensive Blue agent to defend a network from an attacking Red agent. We provide a detailed description of the this challenge and describe the approaches taken by challenge participants. From the submitted agents, we identify four classes of algorithms, namely, Single- Agent Deep Reinforcement Learning (DRL), Hierarchical DRL, Ensembles, and Non-DRL approaches. Of these classes, we found that the hierarchical DRL approach was the most capable of learning an effective cyber defensive strategy. Our analysis of the agent policies identified that different algorithms within the same class produced diverse strategies and that the strategy used by the defensive Blue agent varied depending on the strategy used by the offensive Red agent. We conclude that DRL algorithms are a suitable candidate for autonomous cyber defence applications.

연구 동기 및 목표

• 표준화된 환경을 사용하여 다양한 AI 알고리즘 클래스의 자율 사이버 방어 효과성을 평가하는 것.
• 단일 에이전트 DRL, 계층적 DRL, 앙상블, 비-DRL 등의 알고리즘 접근법 중에서 공격적 사이버 시나리오에서 효과적인 방어 전략을 가장 잘 학습하는 것이 무엇인지 규명하는 것.
• 레드 에이전트의 공격 전략과 에피소드 길이에 따라 에이전트 정책이 어떻게 변화하는지 분석하는 것.
• 사이버 방어 응용 분야에서 알고리즘의 강점과 약점을 체계적으로 분류하고 비교 분석하는 체계적 분류법을 제공하는 것.

제안 방법

• 연구는 CAGE 챌린지 2를 포함한 오픈소스 사이버 자율성 게임을 위한 실험 환경(Cyber Autonomy Gym for Experimentation, CAGE)을 사용한다. CAGE 챌린지 2는 소규모 기업 네트워크에서의 후기 공격 및 횡단 이동 시나리오를 시뮬레이션한다.
• 에이전트는 다중 에이전트 환경에서 훈련 및 평가되었으며, 레드 에이전트가 횡단 이동을 수행하는 동안 블루 에이전트가 이를 방어한다.
• 에이전트 제출물은 네 가지 알고리즘 클래스로 분류되었다: 단일 에이전트 DRL, 계층적 DRL, 앙상블, 비-DRL 접근법.
• 정책 행동 분석은 행동 선택 빈도, 전략 다양성, 레드 에이전트 유형 및 에피소드 길이에 따른 반응 변동성 등을 통해 수행되었다.
• 에이전트 행동과 성능 간의 내부 및 상호 클래스 비교를 가능하게 하기 위해 분류 체계가 개발되었다.
• 통계적 및 정성적 분석을 통해 적응 가능성, 전략 다양성, 다양한 공격 전술에 대한 강건성 등을 평가하였다.

실험 결과

연구 질문

• RQ1 단일 에이전트 DRL, 계층적 DRL, 앙상블, 비-DRL 중 어느 알고리즘 클래스가 사이버 방어 환경에서 강건한 방어 전략을 학습하는 데 가장 높은 효과성을 보여주는가?
• RQ2 레드 에이전트가 사용하는 다양한 공격 전략에 따라 블루 에이전트의 방어 전략은 어떻게 변화하는가?
• RQ3 유사한 아키텍처를 가진 동일한 클래스 내 알고리즘(예: HPPO 기반 에이전트) 간에 서로 다른 방어 정책을 얼마나 잘 학습하는가?
• RQ4 에피소드 길이는 훈련된 에이전트의 행동 선택 및 전략적 행동에 어떤 영향을 미치는가?
• RQ5 자율 사이버 방어의 맥락에서 각 알고리즘 클래스의 주요 강점과 한계는 무엇인가?

주요 결과

• 계층적 DRL 접근법이 다양한 공격 시나리오에서 효과적이고 적응 가능한 방어 전략을 학습하고 구현하는 데 가장 뛰어났다.
• 동일한 클래스 내 알고리즘, 예를 들어 HPPO 기반 에이전트들 간에도 행동 선택 패턴의 상호 겹침이 거의 없이 서로 다른 방어 전략을 도출하였다.
• 블루 에이전트의 방어 전략은 레드 에이전트의 행동에 따라 크게 달라졌다. 예를 들어, B-Line과 같은 지속적인 공격자에 대해서는 특정 디커프를 집중적으로 활용하고, Meander와 같은 더 동적인 공격자에 대해서는 넓은 범위의 디커프 및 복구 전략을 사용했다.
• 에피소드 길이가 전략에 영향을 미쳤다: 짧은 에피소드에서는 디커프 사용이 더 두드러졌고, 긴 에피소드에서는 탐지 및 제거 행동에 대한 의존도가 증가했다.
• 단일 에이전트 DRL 접근법은 일반화 능력이 떨어져 특정 공격자에 대해서만 잘 작동하거나, 여러 공격자를 동시에 훈련시켰을 경우 전반적으로 성능이 열 劣했다.
• 앙상블 접근법은 광범위한 방어 커버리지를 제공했지만, 다수의 에이전트와 행동 선택 논리로 인해 높은 계산 비용과 추론 시간이 소요되었다.