[论文解读] Cleaning the NVD: Comprehensive Quality Assessment, Improvements, and Analyses

Afsah Anwar, Ahmed Abusnaina+3 more|arXiv (Cornell University)|Jun 26, 2020

Information and Cyber Security被引用 8

一句话总结

本文识别并修正了国家漏洞数据库（NVD）中的关键数据质量问题，包括不一致的厂商/产品名称、不准确的披露日期、有缺陷的CVSS v3严重性评分以及错误分类的漏洞类型。通过网络爬虫、人工验证和深度学习技术，作者构建了一个清洗后、更准确的NVD数据集，揭示了原始数据中的显著差异，从而为研究人员和实践者提供更可靠的网络安全趋势分析与决策支持。

ABSTRACT

Vulnerability databases are vital sources of information on emergent software security concerns. Security professionals, from system administrators to developers to researchers, heavily depend on these databases to track vulnerabilities and analyze security trends. How reliable and accurate are these databases though? In this paper, we explore this question with the National Vulnerability Database (NVD), the U.S. government's repository of vulnerability information that arguably serves as the industry standard. Through a systematic investigation, we uncover inconsistent or incomplete data in the NVD that can impact its practical uses, affecting information such as the vulnerability publication dates, names of vendors and products affected, vulnerability severity scores, and vulnerability type categorizations. We explore the extent of these discrepancies and identify methods for automated corrections. Finally, we demonstrate the impact that these data issues can pose by comparing analyses using the original and our rectified versions of the NVD. Ultimately, our investigation of the NVD not only produces an improved source of vulnerability information, but also provides important insights and guidance for the security community on the curation and use of such data sources.

研究动机与目标

• 系统评估国家漏洞数据库（NVD）中的数据质量问题，NVD是漏洞信息的事实上标准。
• 识别关键字段中的一致性问题，如漏洞发布日期、厂商与产品名称、CVSS v3严重性评分以及漏洞类型分类。
• 开发自动化、可扩展的方法，用于检测和修正NVD中的这些数据质量问题。
• 通过案例研究展示数据质量对安全分析的实际影响，对比原始NVD数据与清洗后数据的表现。
• 向安全社区和NIST分享清洗后的数据集及修正工具，以实现NVD的长期改进。

提出的方法

• 采用多源网络爬虫技术，从NVD条目链接的参考URL中提取公开披露日期，重点针对85%的URL进行域名级分析。
• 基于手工整理的映射数据库，开发了厂商与产品名称一致性工具，用于检测并解决CPE命名中的不一致性。
• 构建基于深度学习的模型，利用漏洞描述和技术元数据预测并修正CVSS v3.1严重性评分。
• 对代表性条目样本进行人工验证，以评估自动化修正的准确性，并优化模型。
• 使用修正后的字段重建NVD数据集，并对时间趋势、严重性分布和漏洞类型进行对比分析。
• 已将清洗后的数据集和工具分享给NIST，促成NVD数据模式更新，消除自由格式的厂商与产品字段。

实验结果

研究问题

• RQ1 NVD中漏洞发布日期与实际公开披露日期相比，其准确性如何？
• RQ2 厂商与产品名称的不一致性在多大程度上影响了NVD的可靠性与可用性？
• RQ3 CVSS v3.1严重性评分中的缺陷如何影响风险优先级排序与补救决策？
• RQ4 漏洞类型分类中的数据质量问题如何扭曲对漏洞趋势的理解？
• RQ5 在安全研究与实际运营中，使用原始NVD数据与使用清洗后、修正后的版本相比，其实际影响是什么？

主要发现

• 从公开披露到NVD发布之间的平均延迟为47.6至66.8天，且与漏洞严重性无相关性，表明数据摄入存在系统性延迟。
• 厂商与产品名称的不一致性普遍存在，保守估计可通过引入收购时间线和标准化命名方式减少不一致性。
• 修正后的CVSS v3.1评分在不同严重性级别间呈现更均衡的分布，提升了风险评估的一致性与可靠性。
• 清洗后的数据集识别出原始NVD中未列出的额外漏洞类型，提升了分类准确性。
• 案例研究显示，披露与发布的时间分析揭示出一种模式：披露多集中在一周的前半周（周一至周二），而NVD条目则多在周末后发布，影响了补救窗口的估算。
• 本研究的发现促使NIST更新其NVD数据模式，消除自由格式的厂商与产品字段，从而减少未来数据质量问题。