[논문 리뷰] Network Environment Design for Autonomous Cyberdefense

Andrés Molina–Markham, Cory Miniter외 2명|arXiv (Cornell University)|2021. 03. 13.

Advanced Malware Detection Techniques참고 문헌 24인용 수 24

한 줄 요약

이 논문은 강화학습(Reinforcement Learning, RL) 에이전트를 위한 자율적 사이버 방어를 위해 적응형 네트워크 환경을 설계하기 위한 새로운 프레임워크인 FARLAND을 소개한다. 독성 공격 및 회피 공격을 포함한 복잡하고 변화하는 위협을 시뮬레이션하고 에뮬레이션할 수 있도록 하여, 네트워크 재구성에 대한 확장성 있고 강건한 RL 훈련을 지원하며, 에이전트가 복잡한 적대적 조작 조건에서도 효과적인 방어를 학습할 수 있음을 입증한다.

ABSTRACT

Reinforcement learning (RL) has been demonstrated suitable to develop agents that play complex games with human-level performance. However, it is not understood how to effectively use RL to perform cybersecurity tasks. To develop such understanding, it is necessary to develop RL agents using simulation and emulation systems allowing researchers to model a broad class of realistic threats and network conditions. Demonstrating that a specific RL algorithm can be effective for defending a network under certain conditions may not necessarily give insight about the performance of the algorithm when the threats, network conditions, and security goals change. This paper introduces a novel approach for network environment design and a software framework to address the fundamental problem that network defense cannot be defined as a single game with a simple set of fixed rules. We show how our approach is necessary to facilitate the development of RL network defenders that are robust against attacks aimed at the agent's learning. Our framework enables the development and simulation of adversaries with sophisticated behavior that includes poisoning and evasion attacks on RL network defenders.

연구 동기 및 목표

• RL 에이전트를 네트워크 방어 환경에서 훈련하기 위한 확장성 있고 현실적인 시뮬레이션 프레임워크의 부족을 해결한다.
• 동적이고 적대적인 조건에서 네트워크 재구성을 통해 사이버 공격을 완화할 수 있도록 RL 에이전트의 개발을 가능하게 한다.
• 관측 독성 공격 및 회피 공격과 같은 표적 공격에 대해 RL 기반 방어자 평가를 지원한다.
• 위협과 네트워크 복잡성의 점진적 증가를 가능하게 하는 유연하고 조합 가능한 환경 설계 프레임워크를 제공한다.
• 빠른 시뮬레이션과 높은 정밀도의 에뮬레이션 사이의 격차를 메우며, 정확성을 유지하면서 정책 학습을 가속화한다.

제안 방법

• 확률적이고 부분 관측 가능한 동역학을 사용하여 네트워크 토폴로지, 회색(정상 사용자) 및 빨간(적대자) 에이전트 행동을 생성 프로그램으로 모델링한다.
• RLLib을 사용하여 RL 알고리즘 훈련을 환경 시뮬레이션에서 분리함으로써 GPU 자원을 활용한 분산 및 확장 가능한 훈련을 지원한다.
• 이중 레이어 아키텍처를 구현: 고속 훈련을 위한 시뮬레이션과 검증 및 파rameter 校정을 위한 정확한 에뮬레이션.
• 네트워크 복잡성, 위협 행동, 보안 정책에 대한 조절 가능한 파라미터를 노출하여 커리큘럼 학습과 자동 도메인 랜덤라이제이션을 가능하게 한다.
• 정책 학습을 현실적인 보안 목표로 유도하기 위해 파란 에이전트의 행동, 관측, 보상 함수를 명시적으로 지원한다.
• 학습된 재구성 행동이 영역 분리 및 작업 순서 유지와 같은 네트워크 인variants를 유지하도록 환경 설계에 도착 정책 제약 조건을 통합한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 RL 기반 사이버 방어자에 대한 커리큘럼 학습을 지원하기 위해 점차 복잡도가 증가하는 네트워크 환경을 설계할 수 있는가?
• RQ2 관측 독성 공격 및 회피 공격을 포함한 적대적 조건에서 훈련된 RL 에이전트가 얼마나 효과적인 네트워크 재구성 정책을 학습할 수 있는가?
• RQ3 다양한 네트워크 크기와 위협 구성에서 RL 기반 방어자의 성능는 어떻게 변하고, 훈련 및 평가의 계산 비용은 얼마인가?
• RQ4 시뮬레이션과 에뮬레이션을 효과적으로 융합하여 RL 기반 사이버 방어에서 훈련 속도와 정책 검증 정밀도의 균형을 맞출 수 있는가?
• RQ5 학습된 방어자 정책이 패킷 통과 순서 및 분할과 같은 핵심 네트워크 인variants를 유지하기 위해 필요한 메커니즘은 무엇인가?

주요 결과

• FARLAND은 점차 복잡도가 증가하는 작업의 시퀀스로 네트워크 방어를 시뮬레이션하여, 초보자에서 초인 수준 성능에 이르기까지 에이전트 개발을 지원한다.
• 이 프레임워크는 관측 독성 공격 및 회피 공격을 수행하는 현실적인 공격자를 생성할 수 있으며, 이는 테스트 케이스의 100%에서 수동 파란 에이전트를 속이는 데 성공한다.
• 시뮬레이션에서의 훈련을 통해 경험 재생 속도가 매우 빠르며, 에피소드는 몇 초에서 수 분 이내로 완료될 수 있다. 반면, 100개 노드 네트워크의 에뮬레이션은 단일 코어에서 2시간 이상 소요된다.
• 이중 레이어 시뮬레이션/에뮬레이션 아키텍처는 시뮬레이션에서 효율적인 정책 훈련과 에뮬레이션에서의 검증을 가능하게 하며, 10개 노드 네트워크의 평균 에뮬레이션 시간은 약 10분, 100개 노드 네트워크의 경우 2시간 이상 소요된다.
• 실험 결과, 수동 방어가 없는 경우 적대자 에이전트가 거의 모든 에피소드에서 민감한 데이터(예: ' Corona Jewel')를 유출하는 것으로 나타나, 강건한 RL 기반 방어자의 필요성을 강조한다.
• FARLAND의 설계는 확률적 모델 기반 파라미터화를 통해 환경 복잡성의 자동 스케일링을 지원하며, 커리큘럼 학습을 위한 자동 도메인 랜덤라이제이션을 가능하게 한다.