[论文解读] CybORG: An Autonomous Cyber Operations Research Gym

Callum Baillie, Maxwell Standen+4 more|arXiv (Cornell University)|Feb 25, 2020

Adversarial Robustness in Machine Learning参考文献 22被引用 23

一句话总结

CybORG 是一个支持强化学习的 gym 框架，用于自主网络攻防操作研究，结合了仿真与仿真模式，可在动态多变的网络攻防场景中训练红队和蓝队智能体。它支持在 9 台主机的网络中对深度强化学习智能体（如 DDQN）进行 Capture the Flag 任务训练，1000 场次实验中均实现成功夺旗，性能稳定一致。

ABSTRACT

Autonomous Cyber Operations (ACO) involves the consideration of blue team (defender) and red team (attacker) decision-making models in adversarial scenarios. To support the application of machine learning algorithms to solve this problem, and to encourage such practitioners to attend to problems in the ACO setting, a suitable gym (toolkit for experiments) is necessary. We introduce CybORG, a work-in-progress gym for ACO research. Driven by the need to efficiently support reinforcement learning to train adversarial decision-making models through simulation and emulation, our design differs from prior related work. Our early evaluation provides some evidence that CybORG is appropriate for our purpose and may provide a basis for advancing ACO research towards practical applications.

研究动机与目标

• 为解决使用强化学习训练自主网络攻防（ACO）智能体时缺乏可扩展、真实感强的环境问题。
• 在对抗性、动态性及高维的网络攻防场景中，支持红队与蓝队决策模型的协同演化。
• 提供统一的工具包，包含仿真与仿真模式，实现高效训练与现实世界应用的可迁移性。
• 通过可配置的环境库支持多样化、多变的场景，减少智能体过拟合。
• 建立基准评估框架，用于在多种网络攻防任务中评估 ACO 智能体的性能。

提出的方法

• CybORG 提供双模式环境：仿真模式用于高速训练，仿真模式用于高保真度真实感，两者使用相同的 API。
• 仿真模式维护完全可观测的隐藏状态，但仅向智能体暴露部分信息，以反映现实世界中的可观测性限制。
• 动作基于预条件设置概率性成功率，确保网络攻防操作结果的合理性。
• 该框架同时支持红队（进攻）与蓝队（防御）智能体，且在仿真与仿真模式中动作映射保持一致。
• 使用双重深度 Q 网络（DDQN）训练强化学习智能体，相比标准 DQN，可减少过乐观的价值估计。
• 实验采用 9 台主机的 CTF 场景，包含 3 个子网，红队智能体通过权限提升与网络跳板攻击实现夺旗。

实验结果

研究问题

• RQ1 统一的 gym 环境能否同时支持仿真与仿真模式，用于训练自主网络攻防智能体？
• RQ2 在 CybORG 仿真模式中训练的强化学习智能体，能否成功泛化至真实世界网络攻防操作？
• RQ3 DDQN 在动态多路径 CTF 场景中，学习最优红队策略的效率如何？
• RQ4 CybORG 的场景多样性在多大程度上缓解了网络攻防智能体的过拟合问题？
• RQ5 CybORG 是否可作为基准平台，用于在多样化网络攻防场景中评估与比较 ACO 智能体的性能？

主要发现

• CybORG 成功支持在 9 台主机 CTF 场景中训练 DDQN 智能体，1000 场次实验中均实现稳定夺旗。
• DDQN 智能体表现出有效学习能力，初期因随机探索获得较高奖励，随后性能随时间稳定提升。
• 每场次的平均奖励收敛至最大可能值 1.0，表明已成功学习最优策略。
• 仿真模式实现高效训练，每轮运行 1000 场次，共 10 次独立运行，每场次在 1000 步内实现稳定收敛。
• 框架在仿真与仿真模式间保持一致的 API，为未来混合模式训练与迁移学习提供支持。
• 初步评估确认 CybORG 适用于 ACO 领域的强化学习研究，后续计划扩展场景库并公开发布。