[논문 리뷰] Multi-agent Reinforcement Learning in Bayesian Stackelberg Markov Games for Adaptive Moving Target Defense

Sailik Sengupta, Subbarao Kambhampati|arXiv (Cornell University)|2020. 07. 20.

Network Security and Intrusion Detection참고 문헌 44인용 수 22

한 줄 요약

이 논문은 사이버보안에서 적응형 모바일 타겟 방어(MTD)를 모델링하기 위해 베이지안 스택엘베르그 마르코프 게임(BSMGs)을 제안한다. 이는 정보가 불완전한 상황과 순차적 의사결정 문제를 해결한다. 또한 BSMGs에서 수렴하는 강력한 스택엘베르그 균형(SSE)을 확보하는 베이지안 강력한 스택엘베르그 Q-학습(BSS-Q)을 도입하며, 보상 또는 전이 정보를 사전에 알지 못하는 상황에서도 최신 기술 대비 뛰어난 성능을 발휘한다.

ABSTRACT

The field of cybersecurity has mostly been a cat-and-mouse game with the discovery of new attacks leading the way. To take away an attacker's advantage of reconnaissance, researchers have proposed proactive defense methods such as Moving Target Defense (MTD). To find good movement strategies, researchers have modeled MTD as leader-follower games between the defender and a cyber-adversary. We argue that existing models are inadequate in sequential settings when there is incomplete information about a rational adversary and yield sub-optimal movement strategies. Further, while there exists an array of work on learning defense policies in sequential settings for cyber-security, they are either unpopular due to scalability issues arising out of incomplete information or tend to ignore the strategic nature of the adversary simplifying the scenario to use single-agent reinforcement learning techniques. To address these concerns, we propose (1) a unifying game-theoretic model, called the Bayesian Stackelberg Markov Games (BSMGs), that can model uncertainty over attacker types and the nuances of an MTD system and (2) a Bayesian Strong Stackelberg Q-learning (BSS-Q) approach that can, via interaction, learn the optimal movement policy for BSMGs within a reasonable time. We situate BSMGs in the landscape of incomplete-information Markov games and characterize the notion of Strong Stackelberg Equilibrium (SSE) in them. We show that our learning approach converges to an SSE of a BSMG and then highlight that the learned movement policy (1) improves the state-of-the-art in MTD for web-application security and (2) converges to an optimal policy in MTD domains with incomplete information about adversaries even when prior information about rewards and transitions is absent.

연구 동기 및 목표

• 기존의 게임 이론적 모델이 공격자 유형에 대한 불확실성과 순차적 동역학을 반영하지 못하는 한계를 해결하기 위해.
• 정보가 불완전하고 리더-팔로워 다이내믹스를 통합한 확장 가능한 통합 프레임워크를 개발하기 위해.
• 보상 또는 전이 동역학에 대한 사전 지식이 없이도 견고한 이동 정책을 학습할 수 있는 강화학습 방법을 설계하기 위해.
• 제안된 방법이 BSMG에서 강력한 스택엘베르그 균형(SSE)으로 수렴함을 입증하기 위해.
• 실세계 MTD 환경, 특히 웹 애플리케이션 및 클라우드 네트워크 보안에서 학습된 정책의 효과성을 평가하기 위해.

제안 방법

• MTD에서 공격자 유형에 대한 불확실성과 순차적 상호작용을 모델링하기 위해, 통합 프레임워크로 베이지안 스택엘베르그 마르코프 게임(BSMGs)을 제안한다.
• 강력한 스택엘베르그 균형(SSE)을 BSMGs의 최적의 해 개념으로 정의하며, 이는 방어자가 공격자의 이성적 반응을 고려해 수익을 극대화하는 전략을 사전에 확정함을 보장한다.
• 방어자의 정책을 상호작용을 통해 학습하고, 공격자 유형에 대한 믿음을 갱신하는 다중 에이전트 강화학습 알고리즘인 베이지안 강력한 스택엘베르그 Q-학습(BSS-Q)을 도입한다.
• 관측된 행동을 바탕으로 공격자 유형에 대한 믿음을 향상시키는 베이지안 갱신 메커니즘을 사용하여, 정보가 불완전한 상황에서도 견고한 정책 학습을 가능하게 한다.
• 리더-팔로워 구조를 고려한 Q-학습 스타일 업데이트 규칙을 적용하여, 충분한 탐색 조건 하에서 SSE로 수렴함을 보장한다.
• 정책 성능 평가를 위해 웹 애플리케이션 및 클라우드 네트워크 보안 분야의 두 MTD 도메인을 대상으로 커스터마이징된 OpenAI Gym 스타일 환경을 개발한다.

실험 결과

연구 질문

• RQ1 정보가 불완전하고, 순차적 동역학, 리더-팔로워 구조를 통합한 게임 이론적 모델이 적응형 모바일 타겟 방어를 효과적으로 모델링할 수 있는가?
• RQ2 보상과 전이 정보가 알려지지 않은 상황에서 제안된 BSS-Q 알고리즘이 BSMGs에서 강력한 스택엘베르그 균형(SSE)으로 수렴하는가?
• RQ3 BSS-Q로 학습된 정책은 정적 정책 및 단일 에이전트 강화학습 기준 대비 MTD 환경에서 보안성과 성능 면에서 어떻게 비교되는가?
• RQ4 BSS-Q 접근법은 시스템 동역학에 대한 사전 지식이 제한된 실세계 MTD 응용에 일반화될 수 있는가?
• RQ5 공격자 유형에 대한 불확실성을 모델링하는 것이 방어자의 이동 정책의 견고성과 최적성에 어떤 영향을 미치는가?

주요 결과

• BSS-Q 알고리즘은 BSMG의 강력한 스택엘베르그 균형(SSE)으로 수렴하여, 이성적인 적대자 행동을 고려한 최적의 방어자 전략을 보장한다.
• BSMG 프레임워크는 공격자 유형에 대한 불확실성과 순차적 상호작용을 성공적으로 모델링하여, 이전 방법보다 더 표현력 있고 현실적인 MTD 모델링을 가능하게 한다.
• 웹 애플리케이션 MTD 환경에서 BSS-Q 정책은 기존 최고의 정적 정책 대비 방어 효과성에서 25% 향상을 달성했다.
• 클라우드 네트워크 MTD 환경에서 BSS-Q 정책은 최신 기술 대비 공격 성공률을 33.3% 감소시켰다.
• BSS-Q 방법은 적대자의 전략적 성격을 고려함으로써 단일 에이전트 강화학습 및 기타 다중 에이전트 RL 접근법보다 뛰어난 성능을 발휘한다.
• 보상 및 전이 동역학에 대한 사전 지식이 없더라도 방법이 효과를 유지하여, 실세계 구현 환경에서의 견고성을 입증한다.