[论文解读] Incorporating Deception into CyberBattleSim for Autonomous Defense

Erich C. Walter, Kimberly Ferguson‐Walter+1 more|arXiv (Cornell University)|Aug 31, 2021

Network Security and Intrusion Detection参考文献 17被引用 4

一句话总结

本文将网络欺骗技术——特别是蜜罐和诱饵——整合进微软的 CyberBattleSim 强化学习环境，以评估其对自主攻击者智能体的影响。结果表明，增加欺骗元素的数量并进行战略性部署，能显著降低攻击者的累计奖励，证明欺骗可有效阻碍模拟企业网络中的自动化网络攻击。

ABSTRACT

Deceptive elements, including honeypots and decoys, were incorporated into the Microsoft CyberBattleSim experimentation and research platform. The defensive capabilities of the deceptive elements were tested using reinforcement learning based attackers in the provided capture the flag environment. The attacker's progress was found to be dependent on the number and location of the deceptive elements. This is a promising step toward reproducibly testing attack and defense algorithms in a simulated enterprise network with deceptive defensive elements.

研究动机与目标

• 探究在自主网络安全防御仿真环境中集成网络欺骗技术的可行性。
• 量化蜜罐和诱饵等欺骗元素对基于强化学习的攻击者行为与成功率的影响。
• 提供一个可复现的、动态的仿真平台，用于测试集成欺骗元素的自主防御算法。
• 为未来可动态部署和管理欺骗技术的自主防御智能体设计提供指导。

提出的方法

• 在 CyberBattleSim 环境中增强配置化蜜罐和诱饵功能，以模拟网络中的欺骗性防御机制。
• 部署基于强化学习的智能体（DQL、QTAB、CRED、RAND）作为攻击者，以探究其对欺骗策略的响应行为。
• 通过调整欺骗元素的数量及部署位置（前置型 vs. 后置型），评估其对攻击者进展的影响。
• 以累计奖励随时间的变化作为网络渗透成功的代理指标，衡量攻击者的表现。
• 利用网络路径推断技术，基于攻击者推进路径确定欺骗部署的最优位置。
• 评估多种奖励函数（RAND、CRED、QTAB、DQL），以分析不同学习策略下智能体对欺骗的敏感性。

实验结果

研究问题

• RQ1 在 CyberBattleSim 中，欺骗元素（诱饵和蜜罐）的数量如何影响基于强化学习的攻击者累计奖励？
• RQ2 欺骗元素的空间布局（前置型 vs. 后置型）如何影响攻击者的行为与成功率？
• RQ3 哪些类型的攻击者（如 DQL、CRED、QTAB）最受欺骗影响，原因是什么？
• RQ4 欺骗能否作为高置信度的早期预警机制，使自主防御者能够主动干预并阻断攻击？
• RQ5 自主防御者如何利用动态欺骗部署来优化防御结果？

主要发现

• 增加诱饵数量显著降低了所有攻击者智能体的累计奖励，其中 DQL 和 CRED 智能体受到的影响最为显著。
• 前置型欺骗（在网络路径早期部署）比后置型部署更有效地抑制了攻击者进展，尤其对 DQL 和 QTAB 智能体效果更明显。
• 在第 3 步（AzureStorage）或第 6 步（Azure Resource Manager）部署单个诱饵，即可干扰 CRED 和 QTAB 智能体，表明战略性部署可有效阻断特定攻击策略。
• DQL 智能体在第 1 步即受到网站诱饵的影响，表明早期欺骗可干扰甚至深度强化学习攻击者。
• 在关键网络节点（如第 1 步或第 6 步）部署蜜罐，可显著降低所有智能体类型的攻击者奖励，证实其在延迟和扰乱攻击方面的有效性。
• 奖励曲线的标准差表明欺骗效应具有一致性和可测量性，支持本仿真环境在未来研究中的可靠性。