[论文解读] Automated CVE Analysis for Threat Prioritization and Impact Prediction

Ehsan Aghaei, Ehab Al‐Shaer+2 more|arXiv (Cornell University)|Sep 6, 2023

Information and Cyber Security被引用 5

一句话总结

该论文提出CVEDrill，一种基于领域特定语言模型的工具，通过非结构化漏洞描述自动预测CVSS向量并分类CWE。其在CVSS预测上达到83%的准确率，在CWE分类上达到82%，分别超过ChatGPT的59%和56%，实现了更快、更准确的威胁优先级排序与缓解规划。

ABSTRACT

The Common Vulnerabilities and Exposures (CVE) are pivotal information for proactive cybersecurity measures, including service patching, security hardening, and more. However, CVEs typically offer low-level, product-oriented descriptions of publicly disclosed cybersecurity vulnerabilities, often lacking the essential attack semantic information required for comprehensive weakness characterization and threat impact estimation. This critical insight is essential for CVE prioritization and the identification of potential countermeasures, particularly when dealing with a large number of CVEs. Current industry practices involve manual evaluation of CVEs to assess their attack severities using the Common Vulnerability Scoring System (CVSS) and mapping them to Common Weakness Enumeration (CWE) for potential mitigation identification. Unfortunately, this manual analysis presents a major bottleneck in the vulnerability analysis process, leading to slowdowns in proactive cybersecurity efforts and the potential for inaccuracies due to human errors. In this research, we introduce our novel predictive model and tool (called CVEDrill) which revolutionizes CVE analysis and threat prioritization. CVEDrill accurately estimates the CVSS vector for precise threat mitigation and priority ranking and seamlessly automates the classification of CVEs into the appropriate CWE hierarchy classes. By harnessing CVEDrill, organizations can now implement cybersecurity countermeasure mitigation with unparalleled accuracy and timeliness, surpassing in this domain the capabilities of state-of-the-art tools like ChaptGPT.

研究动机与目标

• 解决由人工CVE分析导致的网络安全关键瓶颈，该过程耗时、易出错且资源消耗大。
• 克服标准CVE描述中缺乏攻击语义信息的问题，该问题阻碍了威胁影响评估与弱点特征描述的准确性。
• 自动化预测CVSS向量并分类至CWE层级类别，以实现可扩展、准确的威胁优先级排序。
• 开发一种轻量级、领域特定的解决方案，使其在CVE分析任务中的准确率和效率上超越通用大语言模型（如ChatGPT）。

提出的方法

• 利用在网络安全文本上微调的领域特定语言模型，解析非结构化CVE描述并提取语义特征。
• 训练预测模型，直接从CVE文本描述中估算完整的CVSS向量（包括基础、时序和环境指标）。
• 实施分层分类系统，将CVE分配至相应的CWE类别，同时保留弱点语义层次结构。
• 采用迁移学习和提示工程，提升模型在少量微调下对未见CVE的泛化能力。
• 将CVSS预测器与CWE分类器集成至统一工具CVEDrill中，实现端到端自动化漏洞分析。
• 优化模型推理以实现低延迟和低成本，确保在生产安全运营中的实际部署可行性。

实验结果

研究问题

• RQ1 领域特定语言模型能否在无需人工输入的情况下，仅从非结构化CVE描述中准确预测完整的CVSS向量？
• RQ2 与现有方法相比，CVE在分层CWE分类体系中的自动化分类效果如何？
• RQ3 CVEDrill在CVSS预测和CWE分类准确率方面，与通用大语言模型（如ChatGPT）相比，优势有多大？
• RQ4 该模型能否在保持CWE语义层次结构的同时，对多种漏洞类型和描述维持高准确率？
• RQ5 自动化流程在多大程度上减少了漏洞优先级排序与缓解规划所需的时间和人力投入？

主要发现

• 在100个随机选取的CVE上，CVEDrill在预测完整CVSS向量方面平均达到83%的准确率，显著优于ChatGPT的59%。
• 该工具在将CVE正确分类至相应CWE类别方面达到82%的准确率，超过ChatGPT在相同测试集上的56%。
• 该模型成功保留了CWE的分层结构，实现了更精确且语义上更有意义的漏洞分类。
• CVEDrill减少了对手动CVE分析的需求，消除了主动威胁优先级排序与缓解工作流中的主要瓶颈。
• 领域特定微调使模型在精度上更高且推理成本更低，更适合实际部署。
• 该方法在多种漏洞类型上表现出鲁棒性，对非结构化、面向产品的CVE描述保持一致的性能表现。