[论文解读] Cost-aware Vulnerability Prediction: the HARMLESS Approach

Zhe Yu, Christopher Theisen+3 more|arXiv (Cornell University)|Mar 17, 2018

Software Engineering Research被引用 5

一句话总结

HARMLESS 是一种成本感知的主动学习漏洞预测工具，采用增量支持向量机来优先排序源代码文件以进行安全审查，通过估算剩余漏洞数量来指导测试达到期望的召回率水平。在 Firefox 的案例研究中，通过仅审查 26%、33% 和 45% 的文件，分别实现了 90%、95% 和 99% 的漏洞召回率。

ABSTRACT

Society needs more secure software. But predicting vulnerabilities is difficult and existing methods are not applied in practical use due to various limitations. The goal of this paper is to design a vulnerability prediction method in a cost-aware manner so that it can balance the percentage of vulnerabilities found against the cost of human effort on security review and test. To this purpose, this paper presents HARMLESS, an incremental vulnerability prediction tool. HARMLESS is an active learner that (a) builds a support vector machine on the source code files reviewed to date; then (b) suggests what other source code files might have vulnerabilities and need to be reviewed next. A unique feature of HARMLESS is that HARMLESS can estimate the number of remaining vulnerabilities. To the best of our knowledge, HARMLESS is the first tool providing such estimation in the arena of vulnerability prediction. Using that estimator, HARMLESS can guide the security review and test to any level of desired recall, i.e. percentage of vulnerabilities found. In experiments on a case study of Mozilla Firefox project, HARMLESS found 90, 95, 99% of known vulnerabilities by reviewing and testing 26, 33, 45% of the source code files, respectively.

研究动机与目标

• 为解决现有实用漏洞预测工具在检测效果与人工工作量成本之间平衡方面的不足。
• 开发一种方法，使安全团队能够针对特定召回率目标（例如 90%、95%）进行工作，同时最小化代码审查的开销。
• 在审查过程中估算尚未发现的漏洞数量，这是漏洞预测中的一项新颖能力。
• 设计一种增量式主动学习系统，从以往的审查中学习，并优先对高风险文件进行后续检查。

提出的方法

• HARMLESS 在已审查并标记为存在漏洞或无漏洞的源代码文件上，增量式训练支持向量机（SVM）模型。
• 利用训练好的模型，根据预测的漏洞可能性对所有未审查文件进行排序，并建议优先审查最可疑的文件。
• 一个独特的估计器组件基于模型置信度和历史数据，预测未审查代码库中剩余的漏洞数量。
• 系统通过迭代选择每单位工作量能最大化漏洞发现量的文件，动态调整其选择策略，以满足用户指定的召回率目标。
• 该方法结合了主动学习原则与成本感知反馈，使团队在达到目标召回率时即可停止。

实验结果

研究问题

• RQ1 漏洞预测系统是否能够在审查过程中估算出尚未发现的漏洞数量？
• RQ2 成本感知的预测方法在保持高漏洞召回率的同时，能在多大程度上减少需审查的代码比例？
• RQ3 结合增量学习与召回率目标的主动学习方法，与静态或非自适应预测方法相比，其性能提升效果如何？
• RQ4 该系统能否在最小化人工工作量的前提下，引导安全测试达到特定的召回率目标（例如 90%、95%）？

主要发现

• HARMLESS 仅审查 Mozilla Firefox 项目中 26% 的源代码文件，即实现了 90% 的召回率。
• 通过审查 33% 的文件，其召回率达到了 95%，显著减少了所需审查的工作量。
• 对于 99% 的召回率，HARMLESS 需要检查 45% 的文件，表明其在优先级排序方面具有出色的可扩展性和精确度。
• 该系统估算剩余漏洞的能力，使团队能够对测试工作量和召回率目标实现主动控制。