[논문 리뷰] CybORG: An Autonomous Cyber Operations Research Gym

Callum Baillie, Maxwell Standen외 4명|arXiv (Cornell University)|2020. 02. 25.

Adversarial Robustness in Machine Learning참고 문헌 22인용 수 23

한 줄 요약

CybORG는 자율 사이버 운영 연구를 위한 강화학습 기반의 gym으로, 시뮬레이션 및 에뮬레이션 모드를 결합하여 동적이고 다양한 사이버 시나리오에서 레드팀 및 블루팀 에이전트를 훈련시킵니다. 이는 딥 강화학습 에이전트(예: DDQN)를 9대 호스트 네트워크에서 CTF 작업에 대해 훈련시킬 수 있게 하며, 1000 에피소드에 걸쳐 일관된 성능으로 플래그를 성공적으로 캡처함을 보여줍니다.

ABSTRACT

Autonomous Cyber Operations (ACO) involves the consideration of blue team (defender) and red team (attacker) decision-making models in adversarial scenarios. To support the application of machine learning algorithms to solve this problem, and to encourage such practitioners to attend to problems in the ACO setting, a suitable gym (toolkit for experiments) is necessary. We introduce CybORG, a work-in-progress gym for ACO research. Driven by the need to efficiently support reinforcement learning to train adversarial decision-making models through simulation and emulation, our design differs from prior related work. Our early evaluation provides some evidence that CybORG is appropriate for our purpose and may provide a basis for advancing ACO research towards practical applications.

연구 동기 및 목표

• 자율 사이버 운영(Agent) 에이전트를 강화학습을 사용해 훈련시키기 위한 확장 가능하고 현실적인 환경의 부족을 해결하기 위해.
• 적대적이고 동적이며 고차원적인 사이버 시나리오에서 레드팀 및 블루팀의 의사결정 모델을 함께 진화시킬 수 있도록 지원하기 위해.
• 효율적인 훈련과 실제 세계로의 전이 가능성을 보장하기 위해 시뮬레이션 및 에뮬레이션 모드를 통합한 유일한 툴킷을 제공하기 위해.
• 사용자 정의 가능한 환경 라이브러리를 통해 다양한 시나리오를 제공함으로써 과적합을 줄이기 위해.
• 다양한 사이버 운영 작업을 기반으로 ACO 에이전트의 평가를 위한 벤치마킹 프레임워크를 구축하기 위해.

제안 방법

• CybORG는 동일한 API를 사용하는 고속 훈련을 위한 시뮬레이션 모드와 고정밀도 현실성을 확보하는 에뮬레이션 모드를 모두 제공하는 이중 모드 환경을 제공합니다.
• 시뮬레이션은 완전히 관측 가능한 숨겨진 상태를 유지하지만, 에이전트에게는 실제 세계의 관측 제약 조건을 반영하기 위해 부분적으로만 정보를 노출합니다.
• 행동는 사전 조건에 기반한 확률적 성공률로 모델링되어 실제 사이버 운영 결과를 반영합니다.
• 이 프레임워크는 레드팀(공격적) 및 블루팀(방어적) 에이전트를 모두 지원하며, 시뮬레이션 및 에뮬레이션 간 일관된 행동 매핑을 제공합니다.
• 강화학습 에이전트는 표준 DQN보다 과도하게 낙관적인 가치 추정을 줄이는 이중 딥 Q 네트워크(DDQN)를 사용해 훈련됩니다.
• 실험은 3개의 서브넷을 가진 9대 호스트 CTF 시나리오를 사용하며, 레드 에이전트는 권한 상승 및 네트워크 피벗을 통해 플래그를 캡처하는 것을 목표로 합니다.

실험 결과

연구 질문

• RQ1 통합된 gym 환경이 자율 사이버 운영 에이전트의 훈련을 위한 시뮬레이션 및 에뮬레이션을 동시에 지원할 수 있는가?
• RQ2 CybORG의 시뮬레이션 모드에서 훈련된 강화학습 에이전트가 실제 사이버 운영으로 일반화될 수 있는가?
• RQ3 DDQN은 동적이고 다중 경로를 가진 CTF 시나리오에서 최적의 레드팀 전략을 학습하는 데 얼마나 효과적인가?
• RQ4 CybORG의 시나리오 다양성이 사이버 운영 에이전트의 과적합을 어느 정도 완화하는가?
• RQ5 CybORG는 다양한 사이버 시나리오에서 ACO 에이전트 성능 평가 및 비교를 위한 벤치마킹 플랫폼으로 기능할 수 있는가?

주요 결과

• CybORG는 9대 호스트 CTF 시나리오에서 DDQN 에이전트의 훈련을 성공적으로 지원하여 1000 에피소드에 걸쳐 일관된 플래그 캡처를 달성했습니다.
• DDQN 에이전트는 초기에 무작위 탐색으로 인해 높은 보상을 기록한 후 시간이 지남에 따라 안정적인 성능 향상을 보였습니다.
• 에피소드 평균 보상은 최대 가능한 값인 1.0으로 수렴하여 최적 전략의 학습이 성공적으로 이루어졌음을 나타냅니다.
• 시뮬레이션 모드 덕분에 1000 에피소드당 1회 실행 및 10회의 독립된 실행을 통해 효율적인 훈련이 가능했으며, 에피소드당 1000단계 이내에서 안정적인 수렴을 달성했습니다.
• 프레임워크는 시뮬레이션 및 에뮬레이션 간 일관된 API를 유지하여 향후 혼합 모드 훈련 및 전이 학습을 가능하게 합니다.
• 초기 평가 결과 CybORG는 ACO 분야의 강화학습에 적합함을 확인했으며, 향후 시나리오 라이브러리 확장 및 공개 배포 계획이 수립되어 있습니다.