[论文解读] Learning to Catch Security Patches

Arthur D. Sawadogo, Tegawendé F. Bissyandé+5 more|arXiv (Cornell University)|Jan 24, 2020

Advanced Malware Detection Techniques参考文献 43被引用 11

一句话总结

本文提出一种协同训练方法，利用提交日志和代码变更特征，自动识别软件仓库中的安全补丁，实现95%的精确率和88%的召回率——显著优于现有最先进方法，并成功检测出此前未标记的静默安全修复。

ABSTRACT

Timely patching is paramount to safeguard users and maintainers against dire consequences of malicious attacks. In practice, patching is prioritized following the nature of the code change that is committed in the code repository. When such a change is labeled as being security-relevant, i.e., as fixing a vulnerability, maintainers rapidly spread the change and users are notified about the need to update to a new version of the library or of the application. Unfortunately, oftentimes, some security-relevant changes go unnoticed as they represent silent fixes of vulnerabilities. In this paper, we propose a Co-Training-based approach to catch security patches as part of an automatic monitoring service of code repositories. Leveraging different classes of features, we empirically show that such automation is feasible and can yield a precision of over 90% in identifying security patches, with an unprecedented recall of over 80%. Beyond such a benchmarking with ground truth data which demonstrates an improvement over the state-of-the-art, we confirmed that our approach can help catch security patches that were not reported as such.

研究动机与目标

• 为解决识别那些未公开CVE或公告披露的安全相关代码变更这一挑战。
• 仅使用提交时可用的提交级别信息，自动化检测安全补丁。
• 通过在多个特征视图上使用协同训练进行半监督学习，改进现有方法。
• 通过实证验证证明该方法能够发现此前未标记的安全补丁。

提出的方法

• 该方法使用两个在不同特征视图上训练的独立分类器：来自提交日志的自然语言特征和结构化代码变更特征（例如，行变更、数组索引修改）。
• 采用协同训练，一种半监督学习技术，其中每个分类器迭代地为另一个分类器标记高置信度的未标记样本，从而提升泛化能力。
• 特征包括提交消息关键词、代码变更度量（例如，修改的行数）以及漏洞指示模式（例如，缓冲区溢出、内存泄漏）。
• 该方法设计用于在标签稀缺且仅能获取提交时数据的真实世界约束下运行。
• 避免使用项目特定特征（例如，作者、文件路径），以确保在不同仓库间的可泛化性。
• 通过真实标签进行评估，并通过专家评审员的手动审核进行验证。

实验结果

研究问题

• RQ1 协同训练方法能否仅使用提交级别元数据和代码变更有效识别安全补丁？
• RQ2 与现有最先进方法相比，该模型在精确率和召回率方面的表现如何？
• RQ3 该模型能否检测出此前未被标记的安全补丁（即，静默修复）？
• RQ4 高信息增益特征是否能为手动审查标记的补丁提供可操作的提示？
• RQ5 在真实世界软件仓库中，面对标签稀缺和类别不平衡问题，该模型的鲁棒性如何？

主要发现

• 协同训练模型在识别安全补丁方面实现了95%的精确率和88%的召回率，显著优于现有方法。
• 该方法成功检测出10个此前未被标记的安全补丁，这些补丁未列在公共漏洞数据库中。
• 手动审核确认，排名靠前的55%标记补丁被专家评审员视为具有实用价值，表明其具有强大的实际应用潜力。
• 高信息增益特征（例如，内存泄漏修复、数组索引变更）为手动审查提供了有意义的信号。
• 即使在标签数据有限的情况下，该模型仍表现出色，凸显了协同训练在低资源环境下的有效性。
• 该方法具有良好的跨项目泛化能力，因为它排除了项目特定特征，依赖于通用的代码和文本模式。