[论文解读] Deep VULMAN: A Deep Reinforcement Learning-Enabled Cyber Vulnerability Management Framework

Soumyadeep Hore, Ankit Shah+1 more|arXiv (Cornell University)|Aug 3, 2022

Information and Cyber Security被引用 5

一句话总结

Deep VULMAN 提出了一种新颖的深度强化学习（DRL）驱动的网络漏洞管理框架，可在不确定性条件下动态分配有限的安全资源，按时间步进行优化。通过结合DRL智能体实现自适应资源分配与整数规划模型实现漏洞优先级排序，该框架在识别高价值漏洞方面优于现有方法，尤其在关键资产、告警触发系统及防护不足的设备上表现突出，同时通过战略性资源保留提前预判未来攻击高峰。

ABSTRACT

Cyber vulnerability management is a critical function of a cybersecurity operations center (CSOC) that helps protect organizations against cyber-attacks on their computer and network systems. Adversaries hold an asymmetric advantage over the CSOC, as the number of deficiencies in these systems is increasing at a significantly higher rate compared to the expansion rate of the security teams to mitigate them in a resource-constrained environment. The current approaches are deterministic and one-time decision-making methods, which do not consider future uncertainties when prioritizing and selecting vulnerabilities for mitigation. These approaches are also constrained by the sub-optimal distribution of resources, providing no flexibility to adjust their response to fluctuations in vulnerability arrivals. We propose a novel framework, Deep VULMAN, consisting of a deep reinforcement learning agent and an integer programming method to fill this gap in the cyber vulnerability management process. Our sequential decision-making framework, first, determines the near-optimal amount of resources to be allocated for mitigation under uncertainty for a given system state and then determines the optimal set of prioritized vulnerability instances for mitigation. Our proposed framework outperforms the current methods in prioritizing the selection of important organization-specific vulnerabilities, on both simulated and real-world vulnerability data, observed over a one-year period.

研究动机与目标

• 为应对漏洞数量持续增长与安全团队资源受限之间日益扩大的差距。
• 克服现有漏洞优先级排序方法中确定性、一次性决策的局限性。
• 实现考虑未来漏洞到达不确定性的自适应、序列化资源分配。
• 将多维系统上下文（如入侵检测系统告警、资产关键性、防护水平）整合到漏洞优先级排序中。
• 开发一种稳健、数据驱动的框架，提升组织在真实世界资源受限环境下的安全防护水平。

提出的方法

• 在模拟的CSOC环境中，利用真实世界的漏洞与系统数据训练深度强化学习（DRL）智能体，以学习在时间步上近似最优的资源分配策略。
• DRL智能体在马尔可夫决策过程（MDP）框架下运行，其中状态包含主机类型、防护水平、入侵检测系统（IDS）告警状态等系统级属性。
• 智能体的动作空间定义了每个时间步分配的资源数量，奖励函数基于已缓解漏洞的累积效用进行设计。
• 在资源分配后，采用整数规划模型根据资源可用性及多因素评分（如CVSS、资产价值、告警信号等）选择最优漏洞缓解集合。
• 框架整合实时系统遥测数据，包括入侵检测告警与主机级风险画像，以同时支持DRL的状态表示与优先级评分。
• DRL智能体学习到非平凡的前瞻性策略，例如在漏洞到达率较低的时期保留资源，以应对未来可能的高流量事件。

实验结果

研究问题

• RQ1 DRL智能体如何在漏洞到达模式不确定的条件下，学习在时间步上动态分配有限安全资源？
• RQ2 整合上下文系统因素（如IDS告警、资产关键性）在多大程度上提升了漏洞优先级排序的准确性与有效性？
• RQ3 DRL与整数规划相结合的混合方法是否能优于传统的基于规则与静态优化的方法，在识别高影响力漏洞方面表现更优？
• RQ4 该框架在真实世界与模拟环境中，于为期一年的漏洞生命周期内表现如何？
• RQ5 面对预期的未来漏洞激增，DRL智能体学习到了哪些战略性行为（如资源保留）？

主要发现

• DRL智能体成功学习到预判未来高到达率漏洞事件的能力，并在早期时间步保留资源，展现出非平凡的前瞻性决策能力。
• Deep VULMAN在关键资产（包括Web服务器与数据库服务器）以及存在IDS告警的系统上，优于现有方法，更有效地优先处理漏洞。
• 该框架在防护不足设备的漏洞选择中表现更优，表明风险覆盖能力得到提升。
• DRL智能体展现出自适应资源分配能力，在低到达率时期减少过度分配，并为未来攻击高峰做好准备。
• 在模拟与真实世界数据覆盖为期一年的实验中，Deep VULMAN相比基线方法，选中了更多关键且对组织具有重要意义的漏洞。
• 在DRL资源分配后集成整数规划，确保在动态分配的资源约束下实现最优漏洞选择，显著提升了整体缓解效用。