[论文解读] A Layered Reference Model for Penetration Testing with Reinforcement Learning and Attack Graphs

Tyler Cody|arXiv (Cornell University)|Jun 14, 2022

Information and Cyber Security被引用 4

一句话总结

本文提出了一种分层参考模型（LRM-RAG），通过系统工程框架将攻击图与真实网络整合，以解决基于强化学习（RL）的渗透测试中的定位问题。该模型实现了实时交互、逼真的对手仿真，并能适应动态网络，提升了RL驱动的网络防御系统在实际部署中的可靠性与实用性。

ABSTRACT

This paper considers key challenges to using reinforcement learning (RL) with attack graphs to automate penetration testing in real-world applications from a systems perspective. RL approaches to automated penetration testing are actively being developed, but there is no consensus view on the representation of computer networks with which RL should be interacting. Moreover, there are significant open challenges to how those representations can be grounded to the real networks where RL solution methods are applied. This paper elaborates on representation and grounding using topic challenges of interacting with real networks in real-time, emulating realistic adversary behavior, and handling unstable, evolving networks. These challenges are both practical and mathematical, and they directly concern the reliability and dependability of penetration testing systems. This paper proposes a layered reference model to help organize related research and engineering efforts. The presented layered reference model contrasts traditional models of attack graph workflows because it is not scoped to a sequential, feed-forward generation and analysis process, but to broader aspects of lifecycle and continuous deployment. Researchers and practitioners can use the presented layered reference model as a first-principles outline to help orient the systems engineering of their penetration testing systems.

研究动机与目标

• 解决基于强化学习的渗透测试中网络表示与定位缺乏共识的问题，该问题削弱了系统的可靠性与可依赖性。
• 识别在实时交互真实网络、逼真对手行为建模以及处理不稳定或动态网络拓扑方面的核心挑战。
• 提供一个系统级框架，统一并指导超越传统前馈式攻击图工作流的RL驱动渗透测试研究与工程实践。
• 通过将表示与全面的攻击图生成解耦，实现RL代理对真实网络更直接、更可靠的定位。
• 支持在生产环境中对基于RL的渗透测试系统实现持续部署与生命周期管理。

提出的方法

• 提出一种分层参考模型（LRM-RAG），在不同抽象层次上组织基于RL与攻击图的渗透测试：地形、对手、任务、MDP和执行层。
• 将RL与攻击图的交互不视为顺序的前馈过程，而是作为包含两个嵌套循环的持续、反馈驱动的生命周期：一个用于代理学习，一个用于网络适应。
• 通过允许代理与动态更新的、最小化的攻击路径表示进行交互，而非全面的攻击图，实现攻击图生成与RL代理训练的解耦。
• 使用马尔可夫决策过程（MDPs）作为建模RL代理决策的核心形式化方法，其中状态表示网络配置，动作表示利用尝试。
• 集成网络接口层，将RL动作转换为实际的渗透测试操作，确保与实时系统的直接定位。
• 通过跨网络状态的迁移学习与元学习，提升在动态或不稳定网络环境中的一般化能力与鲁棒性。

实验结果

研究问题

• RQ1 如何在不依赖预先计算的全面攻击图的前提下，实现实时地将RL代理定位到真实网络？
• RQ2 在动态网络条件下，哪些机制能够实现在基于RL的渗透测试系统中逼真地模拟对手行为，特别是？
• RQ3 当网络快速演变时（如在SDN或物联网环境中），RL代理如何维持可靠的定位？
• RQ4 在多大程度上可以将攻击图生成与RL训练解耦，以提升效率与可扩展性？
• RQ5 MDP的公式化与表示选择在确保基于RL的渗透测试系统可靠性与可依赖性方面起到何种作用？

主要发现

• 全面且简洁的攻击图会导致RL中的‘大海捞针’问题，增加计算成本，并违背直接解决特定问题的原则。
• RL代理无需探索所有可能的攻击路径；相反，它们应专注于发现与特定攻击模板或对手特征匹配的子图。
• 通过实时网络接口层实现RL代理的直接定位，比依赖手工设计的奖励函数或高层抽象更为可靠。
• 网络变化速率可能超过MDP构建速度，若未实施动态自适应定位，将导致表示过时，进而降低代理性能。
• 动态网络（如SDN和物联网系统）由于拓扑与配置的快速变化，对基于RL的渗透测试构成重大挑战。
• 分层参考模型（LRM-RAG）实现了系统工程、攻击图建模与RL代理设计之间的更好对齐，支持持续部署与适应。