[论文解读] CybORG: A Gym for the Development of Autonomous Cyber Agents

Maxwell Standen, Martin Lucas+4 more|arXiv (Cornell University)|Aug 20, 2021

Reinforcement Learning in Robotics参考文献 18被引用 9

一句话总结

CybORG 是一个强化学习健身房，结合了仿真与仿真模拟，用于训练红队和蓝队操作的自主网络攻击与防御代理。它允许在仿真环境中训练代理，并在使用专业工具（如 Metasploit）的真实世界仿真环境中进行测试，实现训练后的红队代理在仿真器中达到 66% 的成功率。

ABSTRACT

Autonomous Cyber Operations (ACO) involves the development of blue team (defender) and red team (attacker) decision-making agents in adversarial scenarios. To support the application of machine learning algorithms to solve this problem, and to encourage researchers in this field to attend to problems in the ACO setting, we introduce CybORG, a work-in-progress gym for ACO research. CybORG features a simulation and emulation environment with a common interface to facilitate the rapid training of autonomous agents that can then be tested on real-world systems. Initial testing demonstrates the feasibility of this approach.

研究动机与目标

• 解决在对抗性、动态的网络环境中训练有效自主网络代理的挑战。
• 通过双模式仿真-仿真模拟框架弥合仿真与真实世界部署之间的‘现实差距’。
• 通过提供一个标准化、可扩展且可扩展的环境，支持强化学习在网络安全操作中的研究。
• 利用真实世界仿真结果对仿真模型进行验证与优化。
• 创建一个基准测试平台，用于在多样化的攻击与防御场景中训练和评估自主网络代理。

提出的方法

• CybORG 使用基于云的基础设施，将仿真与仿真模拟模式集成，以支持大规模强化学习训练。
• 它为代理提供与仿真环境和仿真模拟环境交互的统一接口，实现策略训练与迁移的一致性。
• 该环境将网络操作建模为具有明确动作、观测和奖励的序列决策过程，供强化学习代理使用。
• 通过在虚拟主机上使用 Metasploit 框架以仿真模拟模式评估训练后的代理，测试其在真实世界中的可迁移性。
• 通过仿真与仿真模拟结果之间的差异识别仿真保真度的缺陷，指导模型优化。
• 该框架支持红队（进攻）与蓝队（防御）代理的训练，并计划扩展至基于欺骗的防御场景。

实验结果

研究问题

• RQ1 基于仿真的强化学习环境能否有效训练出可泛化到真实世界仿真模拟的自主网络代理？
• RQ2 在仿真中训练的代理在使用真实工具（如 Metasploit）的仿真模拟环境中，其成功迁移的程度如何？
• RQ3 如何利用仿真与仿真模拟结果之间的差异来优化仿真模型或接口？
• RQ4 环境保真度在强化学习训练的网络代理收敛性与有效性方面起到何种作用？
• RQ5 统一的 gym 环境能否同时支持进攻与防御代理的训练，并保持一致的评估指标？

主要发现

• 训练后的红队代理在 210 次仿真器运行中的 139 次成功，成功率高达 66%，证明了从仿真到真实世界仿真模拟的有效迁移。
• 近一半独立训练的代理在所有仿真器运行中均成功，表明其策略在不同训练运行中具有强大的泛化能力。
• 四个代理在所有仿真器运行中均失败，表明仿真模型或观测空间可能存在缺陷，需进一步优化。
• 一个代理因未使用 'autoroute' 动作而失败，表明仿真中引入了在仿真模拟中不存在的观测伪影。
• 仿真与仿真模拟结果之间的观测差异为改进仿真模型和接口提供了可操作的反馈。
• 结果验证了使用仿真-仿真模拟流水线训练、测试和优化自主网络代理的可行性。