[论文解读] My Software has a Vulnerability, should I worry?

Luca Allodi, Fabio Massacci|Zenodo (CERN European Organization for Nuclear Research)|Jan 7, 2013

Information and Cyber Security参考文献 22被引用 52

一句话总结

本研究评估CVSS评分和公开漏洞数据库是否能可靠预测现实世界中的利用情况。通过在NVD、Exploit-DB和黑市利用工具包（E KITS）之间进行对照案例分析，发现仅凭CVSS评分的预测能力较差；只有在高CVSS评分下存在黑市工具包时，才能实现61%的风险降低，而标准CVSS策略带来的安全收益极低（仅3-4%）。

ABSTRACT

(U.S) Rule-based policies to mitigate software risk suggest to use the CVSS score to measure the individual vulnerability risk and act accordingly: an HIGH CVSS score according to the NVD (National (U.S.) Vulnerability Database) is therefore translated into a "Yes". A key issue is whether such rule is economically sensible, in particular if reported vulnerabilities have been actually exploited in the wild, and whether the risk score do actually match the risk of actual exploitation. We compare the NVD dataset with two additional datasets, the EDB for the white market of vulnerabilities (such as those present in Metasploit), and the EKITS for the exploits traded in the black market. We benchmark them against Symantec's threat explorer dataset (SYM) of actual exploit in the wild. We analyze the whole spectrum of CVSS submetrics and use these characteristics to perform a case-controlled analysis of CVSS scores (similar to those used to link lung cancer and smoking) to test its reliability as a risk factor for actual exploitation. We conclude that (a) fixing just because a high CVSS score in NVD only yields negligible risk reduction, (b) the additional existence of proof of concepts exploits (e.g. in EDB) may yield some additional but not large risk reduction, (c) fixing in response to presence in black markets yields the equivalent risk reduction of wearing safety belt in cars (you might also die but still..). On the negative side, our study shows that as industry we miss a metric with high specificity (ruling out vulns for which we shouldn't worry). In order to address the feedback from BlackHat 2013's audience, the final revision (V3) provides additional data in Appendix A detailing how the control variables in the study affect the results.

研究动机与目标

• 评估公共漏洞数据库（NVD、Exploit-DB）和CVSS评分在预测真实世界中软件漏洞利用方面的可靠性。
• 研究依赖于高CVSS评分的基于规则的策略在风险缓解方面是否具有经济有效性。
• 对比白市场（Exploit-DB）和黑市场（E KITS）中利用代码的可用性，与Symantec威胁探索器（SYM）提供的真实世界利用数据之间的预测能力。
• 确定CVSS子指标或POC利用的存在是否可作为统计上可靠的指标，用于排除低风险漏洞。
• 评估CVSS作为真实世界利用风险因素的特异性和敏感性，涵盖不同漏洞市场。

提出的方法

• 使用Symantec威胁探索器（SYM）中记录的真实世界利用漏洞数据构建漏洞数据集，作为真实情况的基准。
• 收集并分析三个互补数据集：NVD（公共漏洞数据库）、Exploit-DB（概念验证利用代码）和E KITS（在黑市交易的利用代码）。
• 通过匹配关键CVSS子指标和利用特征，开展对照案例的随机实验，比较不同数据集中漏洞的特征。
• 使用条件概率建模方法，评估在特定CVSS评分或利用代码可用性条件下，真实世界利用的可能性。
• 将CVSS评分和利用代码存在性的预测性能与实际利用情况进行对比，测量其敏感性和特异性。
• 对控制变量进行额外分析以验证结果的稳健性，包括来自BlackHat 2013的反馈，附录中包含扩展数据。

实验结果

研究问题

• RQ1 NVD和Exploit-DB等公共漏洞数据库在多大程度上准确反映了软件漏洞在真实世界中的利用情况？
• RQ2 CVSS评分在预测真实世界利用方面表现如何，特别是在与白市场和黑市场中的利用可用性对比时？
• RQ3 仅依赖高CVSS评分的基于规则的策略在降低真实世界利用风险方面是否具有经济有效性？
• RQ4 CVSS子指标或概念验证利用的存在是否能可靠识别出真实世界中已被利用的漏洞？
• RQ5 漏洞存在于黑市利用工具包中，是否比公共数据库提供了更可靠的现实风险信号？

主要发现

• 仅根据NVD中的高CVSS评分修复漏洞，带来的风险降低可忽略不计，实际利用防范的改善仅为3–4%。
• Exploit-DB中存在概念验证利用代码可带来适度的额外风险降低（10%），但对广泛政策应用而言统计上不够稳健。
• 在黑市利用工具包（E KITS）中列出且CVSS评分为中等至高分的漏洞，若被修补，可实现61%的风险降低，表明其具有强大的预测能力。
• CVSS评分仅在与黑市存在性结合时才表现出显著的敏感性（检测真实世界利用的能力），但缺乏高特异性，无法有效排除非威胁性漏洞。
• 没有任何数据集——包括NVD、Exploit-DB或E KITS——能提供统计上可靠的指标，以确信排除98%的用户无需担心的漏洞。
• 研究结论认为，当前基于CVSS的规则化策略在经济上无效，因为尽管合规成本高昂，却未能带来成比例的安全收益。