[论文解读] Beyond CAGE: Investigating Generalization of Learned Autonomous Network Defense Policies

M. Wolk, Andy Applebaum+9 more|arXiv (Cornell University)|Nov 28, 2022

Network Security and Intrusion Detection被引用 5

一句话总结

本文评估了多种基于近端策略优化（PPO）的强化学习（RL）方法——层次化RL、动作掩码、自定义训练和集成RL——在CAGE挑战赛中的自主网络防御表现。集成RL方法表现最佳，在比赛中排名第二，但所有方法在测试未见过的网络或未知攻击者策略时均表现出显著的性能下降，凸显了在实际部署中泛化能力和鲁棒性的挑战。

ABSTRACT

Advancements in reinforcement learning (RL) have inspired new directions in intelligent automation of network defense. However, many of these advancements have either outpaced their application to network security or have not considered the challenges associated with implementing them in the real-world. To understand these problems, this work evaluates several RL approaches implemented in the second edition of the CAGE Challenge, a public competition to build an autonomous network defender agent in a high-fidelity network simulator. Our approaches all build on the Proximal Policy Optimization (PPO) family of algorithms, and include hierarchical RL, action masking, custom training, and ensemble RL. We find that the ensemble RL technique performs strongest, outperforming our other models and taking second place in the competition. To understand applicability to real environments we evaluate each method's ability to generalize to unseen networks and against an unknown attack strategy. In unseen environments, all of our approaches perform worse, with degradation varied based on the type of environmental change. Against an unknown attacker strategy, we found that our models had reduced overall performance even though the new strategy was less efficient than the ones our models trained on. Together, these results highlight promising research directions for autonomous network defense in the real world.

研究动机与目标

• 评估各种基于PPO的强化学习（RL）方法在自主网络防御中的有效性和泛化能力。
• 评估这些基于RL的防御者在部署于未见过的网络环境以及面对此前未见过的攻击者策略时的表现。
• 识别在真实企业环境中部署基于RL的网络防御代理所面临的主要实际挑战。
• 比较不同架构与训练技术（如层次化RL、动作掩码和集成学习）在鲁棒性与性能方面的表现。

提出的方法

• 本研究采用近端策略优化（PPO）作为核心强化学习算法，并引入了层次化决策、动作掩码以限制无效动作以及自定义训练调度等改进。
• 训练了一个基于PPO策略的集成模型，最终动作通过多数投票机制选择，以提升鲁棒性与性能。
• 在CybORG高保真网络仿真环境中评估方法，使用CAGE挑战赛的场景2来模拟真实企业网络动态。
• 通过在训练期间未见的新主机配置和新增攻击路径的修改后网络拓扑上测试模型，评估泛化能力。
• 通过引入一种效率较低但此前未见过的攻击者策略，评估对未知攻击策略的鲁棒性，以模拟现实世界中对抗行为的不可预测性。
• 性能通过CAGE挑战赛的标准指标进行衡量，包括防御者得分、攻击成功概率以及网络被 compromise 检测率。

实验结果

研究问题

• RQ1 不同基于PPO的RL架构（如集成、层次化、掩码）在CAGE挑战赛基准上的性能表现如何比较？
• RQ2 这些基于RL的防御者在面对主机配置修改或新增攻击路径的未见过的网络拓扑时，其泛化能力如何？
• RQ3 当防御者面对一种效率较低但更具不可预测性的未知攻击策略时，性能下降程度如何？
• RQ4 当暴露于环境变化或新型对抗行为时，基于RL的防御者的主要失效模式是什么？

主要发现

• 采用多数投票机制集成多个PPO策略的集成RL方法性能最高，在CAGE挑战赛中获得第二名。
• 所有模型，包括表现最佳的集成模型，在未见过的网络环境中均表现出显著的性能下降，其中主机配置变化造成的干扰最大。
• 面对未知攻击策略（即使该策略效率较低）时，防御者表现更差，原因在于攻击的不可预测性增加以及训练阶段未见过的新攻击路径。
• 在未见过的环境中，集成模型的性能下降最为严重，表明集成方法可能对网络拓扑的结构变化更为敏感。
• 时间约束并未显著影响模型性能，表明在此设置下推理延迟并非性能瓶颈。
• 泛化到未见过的环境仍是主要挑战，当前最先进的RL方法仍易受主机数量、网络布局和攻击面变化的影响。