[논문 리뷰] Deep Reinforcement Learning for Cyber System Defense under Dynamic Adversarial Uncertainties

Ashutosh Dutta, Samrat Chatterjee외 2명|arXiv (Cornell University)|2023. 02. 03.

Information and Cyber Security인용 수 9

한 줄 요약

본 논문은 불확실한 시스템 상태하에서 다단계 공격자에 적응하는 선제적 사이버 방어를 학습하기 위해 데이터 기반 DRL 프레임워크를 개발하고, 맞춤형 OpenAI Gym 환경에서 네 가지 model-free DRL 알고리즘을 평가한다.

ABSTRACT

Development of autonomous cyber system defense strategies and action recommendations in the real-world is challenging, and includes characterizing system state uncertainties and attack-defense dynamics. We propose a data-driven deep reinforcement learning (DRL) framework to learn proactive, context-aware, defense countermeasures that dynamically adapt to evolving adversarial behaviors while minimizing loss of cyber system operations. A dynamic defense optimization problem is formulated with multiple protective postures against different types of adversaries with varying levels of skill and persistence. A custom simulation environment was developed and experiments were devised to systematically evaluate the performance of four model-free DRL algorithms against realistic, multi-stage attack sequences. Our results suggest the efficacy of DRL algorithms for proactive cyber defense under multi-stage attack profiles and system uncertainties.

연구 동기 및 목표

• 사이버 시스템 상태와 공격자–방어자 역학에서의 불확실성을 특성화한다.
• 진화하는 공격자에 적응하는 데이터 기반 DRL 방어 프레임워크를 개발한다.
• 다단계 공격 경로와 자원 제약하에서 방어 최적화 문제를 형식화한다.
• 적극적 사이버 방어를 위한 효과적인 전략을 식별하기 위해 다중 DRL 알고리즘을 평가한다.

제안 방법

• 공격 위치를 나타내는 상태를 가진 사이버 방어를 위한 순차적 의사결정 과정을 형식화한다.
• 맞춤형 OpenAI Gym 환경에서 네 가지 model-free DRL 알고리즘: DQN, A2C, A3C, 및 PPO를 구현하고 비교한다.
• 다단계 MITRE ATT&CK 기반 공격 경로와 다양한 기술/지속성으로 공격자를 모델링한다.
• 비활성, 반응적, 적극적 방어를 포함하는 방어 동작을 정의하고, 21-액션의 적극적 세트를 사용한다.
• 공격 진행 위험, 방어 영향, 행동 비용을 포함하는 맞춤 보상 함수를 사용한다.
• 7 tactics와 15 techniques, 80/20 학습/테스트 분할, 그리고 세 가지 적대자 프로필로 학습/테스트를 수행한다.

Figure 1: Multi-stage attack propagation represented with MITRE ATT&CK Tactics and Techniques. (Note: A directed edge between an attack tactic and technique specifies that the attacker may try to implement that technique next after achieving the objective of the attack tactic. Bidirectional arrow re

실험 결과

연구 질문

• RQ1 불완전한 관찰하에서 다단계 공격자에 대항하여 효과적인 선제적 방어 정책을 모델-free DRL 에이전트가 학습할 수 있는가?
• RQ2 다양한 공격자의 기술 및 지속성에 따라 방어 승률 및 차단 속도 측면에서 서로 다른 DRL 알고리즘의 성능은 어떠한가?
• RQ3 높은 영향력의 공격 단계로의 진행을 예방하는 데 있어 방어 동작 유형(비활성, 반응적, 적극적)의 영향은 무엇인가?
• RQ4 관찰 정확도 부정확성이 정책 학습과 방어 효과에 어떤 영향을 미치는가?

주요 결과

• DQN은 일반적으로 공격을 억제하고 프로필 전반에서 높은 방어 승률을 달성하는 강력한 성능을 보인다.
• A2C 성능은 하이퍼파라미터와 공격 정교성에 민감하며 최적 설정은 수렴 행동이 다양하게 나타난다.
• PPO와 A3C는 경쟁력 있는 결과를 제공하지만 모든 프로필에서 일관되게 우수하지는 않으며 환경 역학에 대한 알고리즘 민감성을 부각시킨다.
• 테스트 시나리오 전반에서 적대자가 더 정교해질수록 방어 승률이 감소하여 동적 불확실성의 도전을 시사한다.
• 다양한 기술/지속성을 가진 다단계 공격 프로필에서도 모델-프리 DRL이 학습하여 우호적인 방어 결과를 얻을 수 있다.
• 본 연구는 설명 가능성, 적대적 노이즈에 대한 취약성, 그리고 큰 상태-행동 공간에서의 수렴과 같은 실용적 도전을 강조한다.

Figure 2: Autonomus cyber defense framework.