[论文解读] Learning Security Strategies through Game Play and Optimal Stopping

Kim Hammar, Rolf Stadler|arXiv (Cornell University)|May 29, 2022

Network Security and Intrusion Detection被引用 5

一句话总结

本文提出了一种新颖的强化学习方法，将入侵防护建模为攻击者与防御者之间的最优停止博弈，结合博弈论与自我对弈，学习基于阈值的防御者策略。T-FP 算法通过利用最优停止问题的结构性质，在学习有效且动态的防御策略方面优于当前最先进方法，其有效性通过仿真与真实基础设施仿真得到验证。

ABSTRACT

We study automated intrusion prevention using reinforcement learning. Following a novel approach, we formulate the interaction between an attacker and a defender as an optimal stopping game and let attack and defense strategies evolve through reinforcement learning and self-play. The game-theoretic perspective allows us to find defender strategies that are effective against dynamic attackers. The optimal stopping formulation gives us insight into the structure of optimal strategies, which we show to have threshold properties. To obtain the optimal defender strategies, we introduce T-FP, a fictitious self-play algorithm that learns Nash equilibria through stochastic approximation. We show that T-FP outperforms a state-of-the-art algorithm for our use case. Our overall method for learning and evaluating strategies includes two systems: a simulation system where defender strategies are incrementally learned and an emulation system where statistics are produced that drive simulation runs and where learned strategies are evaluated. We conclude that this approach can produce effective defender strategies for a practical IT infrastructure.

研究动机与目标

• 为应对日益复杂和动态的网络攻击所带来的自动化有效、自适应安全策略的挑战。
• 开发一种能够学习对动态攻击者具有鲁棒性的防御者策略的方法，克服以往研究中假设攻击者行为静态的局限性。
• 通过将仿真系统与镜像实际基础设施行为的仿真系统相结合，弥合基于仿真策略学习与真实世界评估之间的差距。
• 利用最优停止理论，推导出最优防御者策略的结构性洞见，特别是基于阈值的决策规则。
• 设计并评估一种高效的强化学习算法（T-FP），该算法利用这些结构性质以实现更快的收敛速度和更优的性能。

提出的方法

• 将攻击者-防御者交互建模为一个随机最优停止博弈，其中每位参与者根据信念状态决定是否停止（例如发起攻击或实施阻断）。
• 应用博弈论分析证明，最优防御者策略在信念空间中表现出阈值特性，从而实现高效学习。
• 提出 T-FP，一种使用随机逼近的虚构自我对弈算法，可收敛至纳什均衡，并利用阈值结构提升样本效率。
• 采用双系统架构：一个仿真系统用于训练和策略演化，一个仿真系统用于复制真实基础设施，以生成真实日志和指标。
• 利用仿真日志中估计的分布来实例化仿真模型，从而实现数据驱动的策略学习。
• 在仿真系统中验证所学策略，以确保其在实际场景中的有效性，避免对仅基于仿真的假设产生过拟合。

实验结果

研究问题

• RQ1 最优停止博弈理论能否用于推导入侵防护中有效防御者策略的结构性质？
• RQ2 如何将带有自我对弈的强化学习方法适配于学习对动态、自适应攻击者具有鲁棒性的防御者策略？
• RQ3 能否证明一种新型算法（T-FP）在利用最优停止策略中的阈值结构方面，优于该场景下的现有最先进算法？
• RQ4 与仅基于仿真的评估相比，在仿真基础设施中评估所学策略在多大程度上提升了其在真实世界中适用性的可信度？
• RQ5 基于阈值的策略结构对学习算法的收敛速度和性能有何影响？

主要发现

• 基于最优停止公式推导出的最优防御者策略在信念空间中表现出清晰的阈值特性，停止集在状态 s=0 和 s=1 下均定义为区间 [β, 1]。
• T-FP 算法通过利用这些阈值结构，在相同应用场景下相比最先进算法（NFSP）实现了更优性能，体现在累积奖励和收敛速度方面。
• 双系统方法——利用仿真生成真实指标，利用仿真训练策略——使得在类真实世界环境中实现有效学习与实际策略验证成为可能。
• 实证结果表明，通过 T-FP 学习到的策略在仿真环境中实现了更高的累积奖励和更优的防御有效性，优于基线方法。
• 理论分析证实，价值函数和决策规则在信念状态上具有单调性，支持阈值策略的存在性，并可实现高效计算。
• 将真实基础设施仿真集成到学习流程中，显著提升了所学安全策略的可靠性与实际相关性。