[논문 리뷰] CybORG: A Gym for the Development of Autonomous Cyber Agents

Maxwell Standen, Martin Lucas외 4명|arXiv (Cornell University)|2021. 08. 20.

Reinforcement Learning in Robotics참고 문헌 18인용 수 9

한 줄 요약

CybORG는 시뮬레이션과 에뮬레이션을 결합하여 레드팀 및 블루팀 운영을 위한 자율적 사이버 에이전트를 훈련시키는 강화학습 기반의 그룹입니다. 이는 시뮬레이션 환경에서 에이전트를 훈련시키고, 메타스플로잇과 같은 전문 도구를 사용해 실제 환경에서 에뮬레이션을 통해 테스트할 수 있게 하여, 훈련된 레드 에이전트를 에뮬레이터로 이관할 때 66%의 성공률을 기록했습니다.

ABSTRACT

Autonomous Cyber Operations (ACO) involves the development of blue team (defender) and red team (attacker) decision-making agents in adversarial scenarios. To support the application of machine learning algorithms to solve this problem, and to encourage researchers in this field to attend to problems in the ACO setting, we introduce CybORG, a work-in-progress gym for ACO research. CybORG features a simulation and emulation environment with a common interface to facilitate the rapid training of autonomous agents that can then be tested on real-world systems. Initial testing demonstrates the feasibility of this approach.

연구 동기 및 목표

• 모순적이고 동적인 사이버 환경에서 효과적인 자율적 사이버 에이전트를 훈련시키는 데 도전하는 것.
• 이중 모드의 시뮬레이션-에뮬레이션 프레임워크를 통해 시뮬레이션과 실제 환경 간의 '현실 격차'를 해소하는 것.
• 표준화되고 확장 가능하며 확장 가능한 환경을 제공하여 강화학습 연구를 사이버 운영 분야에 지원하는 것.
• 실세계 에뮬레이션 결과를 활용해 시뮬레이션 모델의 검증과 개선을 가능하게 하는 것.
• 다양한 공격 및 방어 시나리오에서 자율적 사이버 에이전트의 훈련과 평가를 위한 벤치마킹 플랫폼을 만드는 것.

제안 방법

• CybORG는 클라우드 기반 인프라를 사용해 대규모 강화학습 훈련을 지원하는 방식으로 시뮬레이션과 에뮬레이션 모드를 통합합니다.
• 에이전트가 시뮬레이션 환경과 에뮬레이션 환경 모두와 상호작용할 수 있도록 공통 인터페이스를 제공하여 일관된 정책 훈련과 이관을 가능하게 합니다.
• 환경은 강화학습 에이전트를 위한 정의된 행동, 관측, 보상이 있는 순차적 의사결정 과정으로 사이버 운영을 모델링합니다.
• 훈련된 에이전트는 메타스플로잇 프레임워크를 사용해 가상 호스트에서 에뮬레이션 모드로 평가되어 실제 환경 이행 가능성 테스트를 수행합니다.
• 시뮬레이션 정밀도의 결함은 시뮬레이션과 에뮬레이션 결과 간의 격차를 통해 식별되며, 이는 모델 개선을 위한 지침이 됩니다.
• 프레임워크는 레드팀(공격적) 및 블루팀(방어적) 에이전트 훈련을 모두 지원하며, 향후 위장 전략 기반 방어 시나리오로의 확장 계획이 수립되어 있습니다.

실험 결과

연구 질문

• RQ1 시뮬레이션 기반 강화학습 환경이 실제 세계의 에뮬레이션으로 일반화되는 자율적 사이버 에이전트를 효과적으로 훈련시킬 수 있는가?
• RQ2 시뮬레이션에서 훈련된 에이전트가 메타스플로잇과 같은 실제 도구를 사용해 에뮬레이션 환경으로 성공적으로 이행되고 수행되는 정도는 어느 정도인가?
• RQ3 시뮬레이션과 에뮬레이션 결과 간 격차는 어떻게 활용되어 시뮬레이션 모델이나 인터페이스를 개선하는 데 기여할 수 있는가?
• RQ4 환경의 정밀도는 RL 기반 사이버 에이전트의 수렴성과 효과성에 어떤 역할을 하는가?
• RQ5 통합된 그룹 환경이 공격적 및 방어적 에이전트 훈련을 일관된 평가 지표로 지원할 수 있는가?

주요 결과

• 훈련된 레드 에이전트는 210회의 에뮬레이터 실행 중 139회에서 66%의 성공률을 기록하여 시뮬레이션에서 실제 세계 에뮬레이션으로의 효과적인 이행을 입증했습니다.
• 거의 반수에 가까운 독립적으로 훈련된 에이전트들이 모든 에뮬레이터 실행에서 성공했으며, 이는 훈련 런 간 강력한 정책 일반화를 나타냅니다.
• 4개의 에이전트가 모든 에뮬레이터 실행에서 실패했으며, 이는 시뮬레이션 모델이나 관측 공간에 잠재적인 결함이 있었고, 이를 개선할 필요가 있음을 시사합니다.
• 한 에이전트는 'autoroute' 동작을 사용하지 않아 실패했으며, 이는 시뮬레이션에서 실제 에뮬레이션에 존재하지 않는 관측 아티팩트가 도입되었음을 나타냅니다.
• 시뮬레이션과 에뮬레이션 결과 간 관측된 격차는 시뮬레이션 모델과 인터페이스 개선을 위한 실질적인 피드백을 제공했습니다.
• 결과적으로 시뮬레이션-에뮬레이션 파이프라인을 사용해 자율적 사이버 에이전트의 훈련, 테스트, 개선이 가능하다는 것이 검증되었습니다.