[论文解读] Multi-agent Reinforcement Learning in Bayesian Stackelberg Markov Games for Adaptive Moving Target Defense

Sailik Sengupta, Subbarao Kambhampati|arXiv (Cornell University)|Jul 20, 2020

Network Security and Intrusion Detection参考文献 44被引用 22

一句话总结

本文提出贝叶斯斯塔克尔贝格马尔可夫博弈（BSMGs）以建模网络安全中的自适应移动目标防御（MTD），解决不完全信息与序列决策问题。提出贝叶斯强斯塔克尔贝格Q学习（BSS-Q），该方法收敛至强斯塔克尔贝格均衡，并在Web应用与云网络MTD场景中优于最先进策略，即使在缺乏奖励或转移动态先验知识的情况下亦然。

ABSTRACT

The field of cybersecurity has mostly been a cat-and-mouse game with the discovery of new attacks leading the way. To take away an attacker's advantage of reconnaissance, researchers have proposed proactive defense methods such as Moving Target Defense (MTD). To find good movement strategies, researchers have modeled MTD as leader-follower games between the defender and a cyber-adversary. We argue that existing models are inadequate in sequential settings when there is incomplete information about a rational adversary and yield sub-optimal movement strategies. Further, while there exists an array of work on learning defense policies in sequential settings for cyber-security, they are either unpopular due to scalability issues arising out of incomplete information or tend to ignore the strategic nature of the adversary simplifying the scenario to use single-agent reinforcement learning techniques. To address these concerns, we propose (1) a unifying game-theoretic model, called the Bayesian Stackelberg Markov Games (BSMGs), that can model uncertainty over attacker types and the nuances of an MTD system and (2) a Bayesian Strong Stackelberg Q-learning (BSS-Q) approach that can, via interaction, learn the optimal movement policy for BSMGs within a reasonable time. We situate BSMGs in the landscape of incomplete-information Markov games and characterize the notion of Strong Stackelberg Equilibrium (SSE) in them. We show that our learning approach converges to an SSE of a BSMG and then highlight that the learned movement policy (1) improves the state-of-the-art in MTD for web-application security and (2) converges to an optimal policy in MTD domains with incomplete information about adversaries even when prior information about rewards and transitions is absent.

研究动机与目标

• 解决现有博弈论模型在MTD中未能捕捉攻击者类型不确定性和序列动态的局限性。
• 开发一种可扩展的统一框架，整合不完全信息与领导者-追随者动态，适用于序列化网络安全防御场景。
• 设计一种强化学习方法，学习鲁棒的移动策略，且无需事先知晓奖励或转移动态。
• 证明所提方法在BSMGs中收敛至强斯塔克尔贝格均衡（SSE）。
• 在真实MTD场景（包括Web应用与云网络安全性）中，评估所学策略的有效性。

提出的方法

• 提出贝叶斯斯塔克尔贝格马尔可夫博弈（BSMGs）作为统一框架，用于建模MTD中攻击者类型的不确定性与序列交互。
• 将BSMGs中的强斯塔克尔贝格均衡（SSE）定义为最优解概念，确保防御者承诺策略后，能基于理性追随者的最优响应实现最大收益。
• 提出贝叶斯强斯塔克尔贝格Q学习（BSS-Q），一种多智能体强化学习算法，通过交互学习防御者的策略，并更新对攻击者类型的信念。
• 采用贝叶斯更新机制，基于观测到的动作改进对攻击者类型的信念，从而在不完全信息下实现鲁棒策略学习。
• 采用类似Q-learning的更新规则，考虑领导者-追随者结构，确保在充分探索下收敛至SSE。
• 开发一个类OpenAI Gym的自定义环境，用于评估两种MTD领域——Web应用与云网络安全性中的策略性能。

实验结果

研究问题

• RQ1 能否通过结合不完全信息、序列动态与领导者-追随者结构的博弈论模型，有效建模自适应移动目标防御？
• RQ2 当奖励与转移动态未知时，所提出的BSS-Q算法是否能在BSMGs中收敛至强斯塔克尔贝格均衡？
• RQ3 在MTD场景中，BSS-Q所学策略相较于静态策略与单智能体强化学习基线，在安全性和性能方面表现如何？
• RQ4 BSS-Q方法是否能泛化至真实MTD应用，且在系统动态先验知识有限的情况下仍有效？
• RQ5 对攻击者类型不确定性的建模，对防御者移动策略的鲁棒性与最优性有何影响？

主要发现

• BSS-Q算法收敛至BSMG的强斯塔克尔贝格均衡（SSE），确保在理性对手行为下防御者策略的最优性。
• BSMG框架成功建模了攻击者类型的不确定性与序列交互，相较于先前方法，实现了更具表达力与真实感的MTD建模。
• 在Web应用MTD中，BSS-Q策略相较最佳现有静态策略，防御有效性提升25%。
• 在云网络MTD中，BSS-Q策略相较最先进基线，将攻击成功率降低33.3%。
• BSS-Q方法通过考虑对手的战略性，优于单智能体强化学习及其他多智能体RL方法。
• 即使在缺乏奖励与转移动态先验知识的情况下，该方法仍保持有效性，展现出在真实部署场景中的鲁棒性。