[논문 리뷰] Learning Security Strategies through Game Play and Optimal Stopping

Kim Hammar, Rolf Stadler|arXiv (Cornell University)|2022. 05. 29.

Network Security and Intrusion Detection인용 수 5

한 줄 요약

이 논문은 공격자와 방어자 간의 최적 정지 게임으로서 침입 방지 문제를 재구성하여 게임 이론과 자기대칭 학습을 활용해 임계값 기반의 방어자 전략을 학습하는 새로운 강화학습 접근법을 제안한다. T-FP 알고리즘은 최적 정지의 구조적 특성을 활용하도록 설계되어 시뮬레이션과 실제 인프라 에뮬레이션을 통한 검증을 통해 효과적이고 동적인 방어 전략 학습에서 최첨단 기법들을 능가한다.

ABSTRACT

We study automated intrusion prevention using reinforcement learning. Following a novel approach, we formulate the interaction between an attacker and a defender as an optimal stopping game and let attack and defense strategies evolve through reinforcement learning and self-play. The game-theoretic perspective allows us to find defender strategies that are effective against dynamic attackers. The optimal stopping formulation gives us insight into the structure of optimal strategies, which we show to have threshold properties. To obtain the optimal defender strategies, we introduce T-FP, a fictitious self-play algorithm that learns Nash equilibria through stochastic approximation. We show that T-FP outperforms a state-of-the-art algorithm for our use case. Our overall method for learning and evaluating strategies includes two systems: a simulation system where defender strategies are incrementally learned and an emulation system where statistics are produced that drive simulation runs and where learned strategies are evaluated. We conclude that this approach can produce effective defender strategies for a practical IT infrastructure.

연구 동기 및 목표

• 점점 더 정교하고 동적인 사이버 공격에 대응하기 위해 효과적이고 적응 가능한 보안 전략을 자동화하는 데 도전하는 것.
• 이전 연구가 정적 공격자 행동을 가정하는 데 한계가 있음을 고려해, 동적 공격자에 대응할 수 있는 강력한 방어자 전략을 학습하는 방법을 개발하는 것.
• 시뮬레이션 기반 전략 학습과 실제 환경 평가 사이의 격차를 해소하기 위해 시뮬레이션 시스템과 실제 인프라 행동을 반영하는 에뮬레이션 시스템을 통합하는 것.
• 특히 임계값 기반 의사결정 규칙을 포함한 최적 정지 이론을 활용해 최적의 방어자 전략에 대한 구조적 통찰을 도출하는 것.
• 이러한 구조적 특성을 활용해 더 빠른 수렴 속도와 뛰어난 성능를 보이는 효율적인 강화학습 알고리즘(T-FP)을 설계하고 평가하는 것.

제안 방법

• 공격자-방어자 상호작용을 확률적 최적 정지 게임으로 모델링하여, 각 플레이어가 믿음 상태 기반으로 정지를 선택(예: 공격 실행 또는 차단)하는 문제로 설정한다.
• 게임 이론적 분석을 적용해 최적의 방어자 전략이 믿음 공간에서 임계값 성질을 가지며, 이는 효율적인 학습을 가능하게 함을 증명한다.
• 가짜 자기대칭 학습 알고리즘인 T-FP를 도입하여 확률적 근사 기법을 활용해 나시 균형에 수렴하도록 하되, 임계값 구조를 활용해 샘플 효율성을 향상시킨다.
• 이중 시스템 아키텍처를 도입: 실제 인프라를 재현해 현실적인 로그와 메트릭을 생성하는 에뮬레이션 시스템과, 학습 및 전략 진화를 위한 시뮬레이션 시스템.
• 에뮬레이션 로그에서 추정된 분포를 활용해 시뮬레이션 모델을 구현함으로써 데이터 기반 정책 학습을 가능하게 한다.
• 실제 적용 가능성 확보를 위해 학습된 전략을 에뮬레이션 시스템에서 검증함으로써 시뮬레이션 전용 가정에 대한 과적합을 방지한다.

실험 결과

연구 질문

• RQ1 최적 정지 게임 이론을 활용해 침입 방지에서 효과적인 방어자 전략의 구조적 특성을 도출할 수 있는가?
• RQ2 자기대칭 학습을 통한 강화학습이 동적이고 적응적인 공격자에 대응할 수 있는 방어자 전략을 어떻게 적응적으로 학습시킬 수 있는가?
• RQ3 최적 정지 전략의 임계값 구조를 활용하는 새로운 알고리즘(T-FP)이 이와 같은 환경에서 기존 최첨단 알고리즘을 능가할 수 있는가?
• RQ4 시뮬레이션 전용 평가 대비 에뮬레이션된 인프라에서 학습된 전략을 평가할 경우, 실제 적용 가능성에 대한 신뢰도는 어느 정도 향상되는가?
• RQ5 임계값 기반 전략 구조는 학습 알고리즘의 수렴 속도와 성능에 어떤 영향을 미치는가?

주요 결과

• 최적 정지 수식을 통해 유도된 최적의 방어자 전략은 믿음 공간에서 명확한 임계값 성질을 보이며, 상태 s=0과 s=1 모두에서 정지 집합이 [β, 1] 구간으로 정의된다.
• 이러한 임계값 구조를 활용하는 T-FP 알고리즘은 동일한 사용 사례에서 최첨단 알고리즘(NFSP)보다 누적 보상과 수렴 속도 측면에서 뛰어난 성능을 기록한다.
• 에뮬레이션을 통해 현실적인 메트릭을 생성하고 시뮬레이션을 통해 정책을 학습하는 이중 시스템 접근법은 실제 환경과 유사한 환경에서 효과적인 학습과 실용적 검증을 가능하게 한다.
• 실험 결과는 T-FP를 통해 학습된 전략이 베이스라인 방법보다 에뮬레이션 환경에서 더 높은 누적 보상과 뛰어난 방어 효과를 달성함을 보여준다.
• 이론적 분석을 통해 가치 함수와 의사결정 규칙이 믿음 상태에 대해 단조롭게 증가함을 확인하였으며, 이는 임계값 정책의 존재를 뒷받침하고 효율적인 계산을 가능하게 한다.
• 실제 인프라 에뮬레이션을 학습 파이프라인에 통합함으로써 학습된 보안 전략의 신뢰성과 실용적 관련성이 크게 향상됨을 확인했다.