[论文解读] An Independent Validation of Vulnerability Discovery Models

Viet Hung Nguyen, Fabio Massacci|arXiv (Cornell University)|Mar 26, 2012

Software Reliability and Analysis Research参考文献 11被引用 4

一句话总结

该论文独立验证了六个漏洞发现模型（VDMs）在17个浏览器版本（Firefox、Chrome、IE）中的表现，使用了五组基于不同漏洞标准定义的数据集。AML（Alhazmi与Malaiya的Logistic模型）表现最优，而Andersen热力学（AT）模型则完全失效，表明漏洞发现与通用软件可靠性建模存在根本性差异，因为人们有更强的动机去发现安全缺陷。

ABSTRACT

Having a precise vulnerability discovery model (VDM) would provide a useful quantitative insight to assess software security. Thus far, several models have been proposed with some evidence supporting their goodness-of-fit. In this work we describe an independent validation of the applicability of six existing VDMs in seventeen releases of the three popular browsers Firefox, Google Chrome and Internet Explorer. We have collected five different kinds of data sets based on different definitions of a vulnerability. We introduce two quantitative metrics, goodness-of-fit entropy and goodness-of-fit quality, to analyze the impact of vulnerability data sets to the stability as well as quality of VDMs in the software life cycles. The experiment result shows that the "confirmed-by-vendors' advisories" data sets apparently yields more stable and better results for VDMs. And the performance of the s-shape logistic model (AML) seems to be superior performance in overall. Meanwhile, Anderson thermodynamic model (AT) is indeed not suitable for modeling the vulnerability discovery process. This means that the discovery process of vulnerabilities and normal bugs are different because the interests of people in finding security vulnerabilities are more than finding normal programming bugs.

研究动机与目标

• 评估六个现有漏洞发现模型（VDMs）在真实软件生命周期中的实际适用性。
• 研究不同漏洞定义对VDM拟合稳定性与质量的影响。
• 评估VDM是否能够可靠地建模长周期、持续演化的软件（如网页浏览器）中的漏洞发现过程。
• 识别哪些VDM最适合用于指导软件安全规划中的资源分配。

提出的方法

• 本研究基于不同的漏洞定义收集了五组独立数据集：原始NVD条目、经厂商公告确认的NVD条目（NVD.Advice），以及从缺陷跟踪系统中衍生出的三种变体（如ADVICE.Nbug）。
• 作者提出了两个新指标：拟合优度熵与拟合优度质量，以定量评估模型在不同数据集上的稳定性和性能。
• 使用非线性最小二乘法回归（通过R语言的nls()函数）对六个VDM进行拟合，并利用CurveExpert Pro进行交叉验证，以确保结果的稳健性。
• 分析过程中将每个浏览器版本视为独立的应用程序，考虑了版本特异性代码库，避免了在主要版本变更时进行聚合带来的错误。
• 统计检验的选择谨慎避免正态性假设，因为漏洞发现事件的分布并非正态。
• 本研究采用涵盖Firefox、Chrome和Internet Explorer的多版本、多浏览器数据集，以确保在不同软件开发模式下的普适性。

实验结果

研究问题

• RQ1 在独立验证下，哪个漏洞发现模型在多个浏览器版本中表现最佳？
• RQ2 漏洞的定义（例如仅NVD条目 vs. 厂商确认条目）如何影响VDM的拟合优度与稳定性？
• RQ3 基于可靠性的模型（如Andersen热力学，AT模型）能否准确描述真实软件中的漏洞发现过程？
• RQ4 VDM在不同浏览器版本中是否表现一致，特别是在发生重大代码库变更时？
• RQ5 数据集的选择在多大程度上影响了VDM预测的质量与可靠性感知？

主要发现

• AML（Alhazmi与Malaiya的Logistic模型）在所有数据集中均展现出最佳的整体性能，体现在拟合优度质量与稳定性方面。
• Andersen热力学（AT）模型在所有情况下表现均较差，表明其不适合用于建模漏洞发现过程，可能因其假设与真实世界中的发现行为不匹配。
• 经厂商公告确认的数据集相比原始NVD条目，能产生显著更稳定且质量更高的模型拟合，表明厂商确认可提升数据可靠性。
• AML模型的三阶段结构——学习期、线性发现期与饱和期——最能准确捕捉实际漏洞发现过程的动力学特征。
• 具有代码继承特性的长期维护软件（如Firefox）表现出多个饱和期，而现有VDM无法建模此现象，这解释了此类情况下拟合效果差的原因。
• 线性和指数模型（LN、RE、LP）在发现趋势呈线性时表现相近，但缺乏对非线性饱和阶段的建模灵活性。