[论文解读] Deep hierarchical reinforcement agents for automated penetration testing

Khuong Tran, Ashlesha Akella+5 more|arXiv (Cornell University)|Sep 14, 2021

Advanced Malware Detection Techniques参考文献 10被引用 23

一句话总结

本文提出 HA-DRL，一种深度分层强化学习架构，通过子代理训练分解大规模离散动作空间，在自动化渗透测试中实现更快速、更稳定的收敛。通过分层结构化代理并应用代数动作分解，HA-DRL 在复杂网络（最多 100 台主机、4,646 个动作）中成功学习最优攻击策略，而标准 DQN 完全失效。

ABSTRACT

Penetration testing the organised attack of a computer system in order to test existing defences has been used extensively to evaluate network security. This is a time consuming process and requires in-depth knowledge for the establishment of a strategy that resembles a real cyber-attack. This paper presents a novel deep reinforcement learning architecture with hierarchically structured agents called HA-DRL, which employs an algebraic action decomposition strategy to address the large discrete action space of an autonomous penetration testing simulator where the number of actions is exponentially increased with the complexity of the designed cybersecurity network. The proposed architecture is shown to find the optimal attacking policy faster and more stably than a conventional deep Q-learning agent which is commonly used as a method to apply artificial intelligence in automatic penetration testing.

研究动机与目标

• 解决自动化渗透测试中动作空间指数级增长的问题，该问题阻碍了传统深度强化学习（DRL）方法的应用。
• 开发一种可扩展且稳定的 DRL 架构，能够在无需大量网络先验知识的情况下学习最优攻击策略。
• 克服标准 DQN 代理在大规模网络安全环境中稀疏奖励下表现出的不稳定性与收敛性差的问题。
• 通过分层代理分解，在复杂、真实的渗透测试场景中实现高效的探索与策略学习。
• 证明将深度强化学习应用于大规模、类真实网络攻击模拟的可行性，且仅需极少领域特定工程设计。

提出的方法

• 提出一种分层代理架构（HA-DRL），通过代数动作分解将全局动作空间划分为更小、可管理的子集。
• 独立训练每个动作子集上的 DQN 代理，实现并行且可扩展的学习，计算量呈亚线性增长。
• 采用顺序决策过程：高层代理选择子代理，低层代理在其指定动作集中执行动作。
• 在每个子代理中应用深度 Q 网络（DQN）与双重 Q 学习（DDQN）进行价值函数近似，提升稳定性并减少过估计。
• 利用 CybORG 模拟器在不同主机数量和动作空间大小的多样化网络配置中验证该架构。
• 使用 t-SNE 可视化学习到的状态表征，分析代理是否在无显式监督的情况下发现有意义的结构模式（如子网）。

实验结果

研究问题

• RQ1 分层 DRL 架构能否有效应对自动化渗透测试中动作空间的指数级增长？
• RQ2 在大规模网络场景中，HA-DRL 与标准 DQN 代理相比，在学习速度、稳定性与收敛性方面表现如何？
• RQ3 动作的分层分解是否能在典型渗透测试中稀疏奖励的环境下带来更好的策略学习？
• RQ4 代理是否能在未提供拓扑信息的情况下学习到网络的有意义结构表征（如子网）？
• RQ5 HA-DRL 在动作空间显著增加的大规模网络中具备多大程度的可扩展性？

主要发现

• HA-DRL 在所有测试场景中均实现了比 DDQN 更快、更稳定的收敛，包括最多 100 台主机和 4,646 个动作的场景。
• 在 100 台主机场景中，由于无法探索动作空间，DDQN 完全未能学习到有意义的策略，而 HA-DRL 在约 4,000 个训练周期内成功收敛至最优策略。
• 在 60 台和 70 台主机的场景中，DDQN 仅在 4 次训练运行中的 1 次成功，而 HA-DRL 始终实现最优性能。
• t-SNE 可视化显示，训练后的代理学习到的状态表征自然聚类为 9 个独立组，对应 50 台主机配置中的 9 个私有子网，尽管未提供子网的显式信息。
• 每个子代理仅从其本地动作集中学习使用 2–3 个动作即可实现最优攻击路径，表明实现了有效的动作剪枝与策略专业化。
• HA-DRL 展现出良好的可扩展性：当动作空间从 49 增加到 4,646 时，代理数量仅增加 2–4 个，表明计算复杂度呈亚线性增长。