[논문 리뷰] Constraints Satisfiability Driven Reinforcement Learning for Autonomous Cyber Defense

Ashutosh Dutta, Ehab Al‐Shaer외 1명|arXiv (Cornell University)|2021. 04. 19.

Smart Grid Security and Resilience참고 문헌 9인용 수 4

한 줄 요약

이 논문은 자율 사이버 방어 에이전트의 의사결정 루프에 만족 가능성 모듈화 이론(Satisfiability Modulo Theories, SMT) 검증을 통합하여 실시간으로 안전성 및 보안 제약 조건을 충족시키는 하이브리드 강화학습 아키텍처인 제약 만족 기반 강화학습(Constrained Satisfiability-driven Reinforcement Learning, CSRL)을 제안한다. 이 방법은 최적의 방어 정책으로의 빠른 수렴을 가능하게 하며, 시뮬레이션된 사이버-물리 시스템에서 다양한 공격 전략에 대해 99%의 성공률을 기록한다.

ABSTRACT

With the increasing system complexity and attack sophistication, the necessity of autonomous cyber defense becomes vivid for cyber and cyber-physical systems (CPSs). Many existing frameworks in the current state-of-the-art either rely on static models with unrealistic assumptions, or fail to satisfy the system safety and security requirements. In this paper, we present a new hybrid autonomous agent architecture that aims to optimize and verify defense policies of reinforcement learning (RL) by incorporating constraints verification (using satisfiability modulo theory (SMT)) into the agent's decision loop. The incorporation of SMT does not only ensure the satisfiability of safety and security requirements, but also provides constant feedback to steer the RL decision-making toward safe and effective actions. This approach is critically needed for CPSs that exhibit high risk due to safety or security violations. Our evaluation of the presented approach in a simulated CPS environment shows that the agent learns the optimal policy fast and defeats diversified attack strategies in 99\% cases.

연구 동기 및 목표

• 복잡한 사이버-물리 시스템(CPS)에서 실시간, 제약 인지 자율 사이버 방어의 부족을 해결하기 위해.
• 기존 강화학습 및 제약 만족 프레임워크에서의 정적 모델 및 비현실적인 가정의 한계를 극복하기 위해.
• 정책 학습 중에 안전성 및 보안 제약 조건을 동적으로 검증할 수 있는 하이브리드 에이전트 아키텍처를 개발하기 위해.
• 변화하는 공격 전략과 불확실한 환경 하에서 실시간으로 적응 가능한 방어 계획 수립이 가능하게 하되, 증명 가능한 정확성을 유지하기 위해.
• 제약 조건 만족성에 기반한 SMT 피드백을 통해 강화학습 기반 방어 에이전트의 수렴성과 효과성을 향상시키기 위해.

제안 방법

• 랜덤 환경 역학과 임무 중심의 제약 조건을 갖는 순차적 결정 문제(Sequential Decision Process, SDP)로 방어 문제를 수립한다.
• 시뮬레이션 환경과의 상호작용을 통해 강화학습 기반 정책 최적화를 수행하기 위해 모델리스 강화학습(PPO2 with MlpPolicy)을 활용한다.
• 사전 실행 만족성(Pre-execution Satisfiability, Pre-sat) 모듈을 도입하여 SMT 솔버를 사용해 후보 방어 조치가 모든 안전성 및 보안 제약 조건을 충족하는지 검증한다.
• 정책 최적화와 제약 조건 검증을 분리하여, 직접적인 제약 조건 시행 대신 만족성 피드백에 기반해 정책을 업데이트한다.
• 환경 피드백을 통해 암묵적 또는 불완전한 요구 조건을 추론함으로써, 동적 또는 불확실한 도메인에서의 강건성을 향상시킨다.
• OpenAI Gym과 Stable Baselines를 사용한 파이썬 기반 프레임워크를 구현하였으며, 평가를 위해 100개 및 200개 장치로 구성된 두 가지 네트워크 토폴로지 구조를 사용한다.

실험 결과

연구 질문

• RQ1 강화학습에 형식적 검증을 통합하여 자율 사이버 방어에서 안전성 및 보안 제약 조건을 보장할 수 있는 방법은 무엇인가?
• RQ2 SMT 기반 제약 조건 검증은 동적 환경에서 강화학습 기반 방어 에이전트의 수렴성과 성능에 어느 정도 기여하는가?
• RQ3 환경 피드백으로부터 누락되거나 모호한 요구 조건을 동적으로 유추함으로써, 사전 지식 없이도 효과적인 방어 정책을 학습할 수 있는가?
• RQ4 사전 검증(Pre-sat) 검증의 통합은 에이전트가 스텔스성 및 공격적인 공격 전략을 포함한 다양한 공격 전략을 극복하는 데 어떤 영향을 미치는가?
• RQ5 제안된 하이브리드 아키텍처는 대규모 CPS 환경에서 확장성과 실시간 실행 가능성이 있는가?

주요 결과

• 에이전트는 100개 및 200개 장치 토폴로지에서 모두 스텔스성, 공격성, 단순한 공격자와 같은 다양한 공격 전략에 대해 99%의 성공률 기록.
• 200개 장치 토폴로지에서 50 에피소드 이내에 최적의 방어 계획 수렴를 달성하였고, 스텔스 공격자에 대해 87% 이상의 보상 확보.
• 공격성 공격자에 대비해 75%의 경우에서 25~27단계 이내에 공격 확산을 차단하여 빠른 반응 시간을 입증.
• Pre-sat 모듈은 스텔스 공격자에 대비해 보상 성능을 최대 70% 향상시켜 정책 최적화에 상당한 기여를 하였다.
• 가장 도전적인 상황에서도 공격자가 공격 목표 상태에 도달할 확률을 1% 이하로 감소시켜 성공적으로 공격 확산을 억제.
• 프레임워크는 확장성과 실시간 실행 가능성을 입증하였으며, 더 큰 토폴로지에서 더 많은 만족 가능한 계획 기회로 더 빠른 수렴을 보였다.