[论文解读] Network Defense is Not a Game

Andrés Molina–Markham, Ransom K. Winder+1 more|arXiv (Cornell University)|Apr 20, 2021

Advanced Malware Detection Techniques参考文献 18被引用 5

一句话总结

本文主张，网络防御不能被视作具有固定规则的单一游戏，而应被视为一系列需要自适应人工智能的动态环境分布。论文提出通过生成程序建模网络防御任务，以定义对手战术、技术与程序（TTPs）、服务质量（QoS）约束以及防御者行为的分布，从而支持能够抵御TTPs漂移和AI驱动攻击的鲁棒强化学习（RL）智能体。该方法促成了FARLAND框架的开发，用于在真实、动态演化的网络场景中训练自主网络防御者。

ABSTRACT

Research seeks to apply Artificial Intelligence (AI) to scale and extend the capabilities of human operators to defend networks. A fundamental problem that hinders the generalization of successful AI approaches -- i.e., beating humans at playing games -- is that network defense cannot be defined as a single game with a fixed set of rules. Our position is that network defense is better characterized as a collection of games with uncertain and possibly drifting rules. Hence, we propose to define network defense tasks as distributions of network environments, to: (i) enable research to apply modern AI techniques, such as unsupervised curriculum learning and reinforcement learning for network defense; and, (ii) facilitate the design of well-defined challenges that can be used to compare approaches for autonomous cyberdefense. To demonstrate that an approach for autonomous network defense is practical it is important to be able to reason about the boundaries of its applicability. Hence, we need to be able to define network defense tasks that capture sets of adversarial tactics, techniques, and procedures (TTPs); quality of service (QoS) requirements; and TTPs available to defenders. Furthermore, the abstractions to define these tasks must be extensible; must be backed by well-defined semantics that allow us to reason about distributions of environments; and should enable the generation of data and experiences from which an agent can learn. Our approach named Network Environment Design for Autonomous Cyberdefense inspired the architecture of FARLAND, a Framework for Advanced Reinforcement Learning for Autonomous Network Defense, which we use at MITRE to develop RL network defenders that perform blue actions from the MITRE Shield matrix against attackers with TTPs that drift from MITRE ATT&CK TTPs.

研究动机与目标

• 解决网络防御无法像人工智能在游戏中的成功案例那样被框定为具有固定规则的单一游戏这一根本性局限。
• 实现自主网络防御者的开发，使其能够泛化于不断变化的对手行为和网络条件。
• 通过参数化TTPs、QoS和防御者行为的分布，建模真实、动态的网络环境，以支持可扩展的强化学习训练。
• 应对AI赋能的对手通过间接操纵毒化或规避防御者模型的威胁。
• 为在环境分布而非固定配置上评估强化学习智能体提供基础。

提出的方法

• 使用生成程序将网络防御建模为环境分布，以定义对手TTPs、QoS需求和防御者行为的概率变化。
• 对关键网络环境特征（如主机配置、网络拓扑和通信模式）进行参数化，以支持可扩展的、语义上合理的抽象。
• 在FARLAND框架内结合无监督课程学习与强化学习（RL），使智能体在逐步复杂化、TTPs不断漂移的场景中进行训练。
• 整合MITRE Shield矩阵，以定义合法的蓝队行动，并使防御者行为与现实世界网络防御操作保持一致。
• 模拟偏离标准MITRE ATT&CK TTPs的对手行为，以测试智能体在面对演化威胁时的鲁棒性。
• 设计框架以暴露特定于网络防御的模型参数，从而在动态条件下系统性评估智能体性能。

实验结果

研究问题

• RQ1 如何将网络防御任务建模为环境分布，以支持基于强化学习的网络防御中的泛化？
• RQ2 在面对能够适应或偏离已知模式的对手时，基于演化TTP分布训练的强化学习智能体在多大程度上能维持性能？
• RQ3 如何设计评估框架，以反映现实世界的网络动态和对手演化，而非固定配置？
• RQ4 当对手使用间接观测操纵或执行器攻击时，基于强化学习的网络防御智能体存在哪些漏洞？
• RQ5 生成程序如何用于创建语义上有意义、可扩展且真实的网络环境分布，以支持训练？

主要发现

• 本文证明，将网络防御视为环境分布（而非单一游戏）能够实现更真实、更具泛化能力的强化学习训练。
• 受该方法启发的FARLAND框架，使能够响应偏离标准MITRE ATT&CK配置的TTPs的强化学习智能体得以训练。
• 该方法揭示，AI赋能的对手可通过间接操纵系统性地毒化或规避防御者模型，凸显了在基于强化学习的网络防御中构建鲁棒防御机制的必要性。
• 在固定环境上进行的传统强化学习评估无法捕捉智能体在涉及对手行为动态变化的真实世界条件下的性能表现。
• 生成程序为定义语义上有意义、可扩展且参数化的网络环境分布提供了可行机制，适用于研究与训练。
• 本工作为评估自主网络防御者在多样化、动态演化威胁环境中的泛化能力奠定了基础。