[论文解读] Behaviour-Diverse Automatic Penetration Testing: A Curiosity-Driven Multi-Objective Deep Reinforcement Learning Approach

Yizhou Yang, Xin Liu|arXiv (Cornell University)|Feb 22, 2022

Adversarial Robustness in Machine Learning被引用 8

一句话总结

该论文提出了一种基于好奇心驱动的多目标深度强化学习框架，用于自动渗透测试，通过柯氏分解评论者（Chebyshev decomposition critic）和基于覆盖度的掩码机制，生成行为多样的攻击策略。该方法在大型且动态扩展的攻击空间中提升了探索效率和多目标性能，在NASim和CAGE环境上的学习稳定性和非支配攻击策略多样性方面优于当前最先进方法。

ABSTRACT

Penetration Testing plays a critical role in evaluating the security of a target network by emulating real active adversaries. Deep Reinforcement Learning (RL) is seen as a promising solution to automating the process of penetration tests by reducing human effort and improving reliability. Existing RL solutions focus on finding a specific attack path to impact the target hosts. However, in reality, a diverse range of attack variations are needed to provide comprehensive assessments of the target network's security level. Hence, the attack agents must consider multiple objectives when penetrating the network. Nevertheless, this challenge is not adequately addressed in the existing literature. To this end, we formulate the automatic penetration testing in the Multi-Objective Reinforcement Learning (MORL) framework and propose a Chebyshev decomposition critic to find diverse adversary strategies that balance different objectives in the penetration test. Additionally, the number of available actions increases with the agent consistently probing the target network, making the training process intractable in many practical situations. Thus, we introduce a coverage-based masking mechanism that reduces attention on previously selected actions to help the agent adapt to future exploration. Experimental evaluation on a range of scenarios demonstrates the superiority of our proposed approach when compared to adapted algorithms in terms of multi-objective learning and performance efficiency.

研究动机与目标

• 解决现有自动渗透测试智能体依赖单目标强化学习时行为多样性不足的问题。
• 实现在渗透测试中的有效多目标学习，平衡攻击影响、权限提升和动作成本等目标。
• 处理真实渗透测试场景中动态扩展的动作空间问题，即在探索过程中新动作会陆续出现。
• 通过基于覆盖度的掩码机制，减少对已探索动作的关注，从而提升训练效率和收敛速度。
• 在无需手动偏好设置或奖励塑形的情况下，生成一组多样化的非支配攻击策略。

提出的方法

• 将自动渗透测试建模为具有不完全可观测性和不断增长动作空间的多目标马尔可夫决策过程（MOMDP）。
• 采用结合随机网络蒸馏（RND）的近端策略优化（PPO）智能体，以应对稀疏奖励学习问题。
• 引入基于覆盖度的掩码机制，抑制已探索动作的logits，引导探索向未探索的网络区域推进。
• 提出柯氏分解评论者，以平衡多个目标并生成多样化的非支配攻击策略。
• 使用向量值奖励，结合妥协成功度与权限提升程度，以建模渗透过程中广度与深度之间的权衡。
• 将覆盖度分布与智能体网络的logits融合，根据网络探索进度动态调整动作选择。

实验结果

研究问题

• RQ1 多目标强化学习智能体是否能在真实渗透测试环境中生成多样化且非支配的攻击策略？
• RQ2 基于覆盖度的掩码机制在动作空间动态扩展的环境中，如何提升训练稳定性和效率？
• RQ3 柯氏评论者在发现多样化、高质量攻击策略方面，相较于传统线性加权法有多大的性能优势？
• RQ4 与单目标和基于值函数的基线方法相比，该方法在大型复杂网络拓扑结构中的性能与稳定性表现如何？
• RQ5 在稀疏奖励和部分可观测环境下，智能体是否能保持有效的探索与收敛能力？

主要发现

• 所提方法在中型和大型网络场景中展现出更优的学习稳定性和收敛性，尤其在DQN和改进DQN无法收敛的情况下表现突出。
• 覆盖度掩码机制显著提升了训练效率与收敛速度，使智能体能够持续探索新的网络段，避免陷入次优策略。
• 柯氏评论者生成的非支配攻击策略集在多种权重设置下均优于线性加权法所发现的策略。
• 该方法在多目标学习中表现更优，有效平衡了目标主机妥协与网络中立足点获取之间的权衡。
• 在CAGE基准测试中，该方法在减少目标妥协所需动作数的同时，增加了访问获取次数，表明其探索效率与深度均得到提升。
• 该方法成功应对了真实渗透测试场景中动作空间持续扩展的挑战，其中动作的可用性依赖于前置条件，并在执行过程中动态演化。