[论文解读] Early Detection of Security-Relevant Bug Reports using Machine Learning: How Far Are We?

Arthur D. Sawadogo, Quentin Guimard+4 more|arXiv (Cornell University)|Dec 19, 2021

Software Engineering Research被引用 4

一句话总结

本文利用一个大规模、经过筛选的开源错误报告数据集，评估了用于早期检测安全相关错误报告的机器学习方法。研究发现，TF-IDF 特征结合树基分类器（如随机森林、XGBoost）可获得最高的 F1 分数，而非树基模型在高维、噪声较大的特征向量上性能显著下降，凸显了特征工程在安全软件分类系统中的关键作用。

ABSTRACT

Bug reports are common artefacts in software development. They serve as the main channel for users to communicate to developers information about the issues that they encounter when using released versions of software programs. In the descriptions of issues, however, a user may, intentionally or not, expose a vulnerability. In a typical maintenance scenario, such security-relevant bug reports are prioritised by the development team when preparing corrective patches. Nevertheless, when security relevance is not immediately expressed (e.g., via a tag) or rapidly identified by triaging teams, the open security-relevant bug report can become a critical leak of sensitive information that attackers can leverage to perform zero-day attacks. To support practitioners in triaging bug reports, the research community has proposed a number of approaches for the detection of security-relevant bug reports. In recent years, approaches in this respect based on machine learning have been reported with promising performance. Our work focuses on such approaches, and revisits their building blocks to provide a comprehensive view on the current achievements. To that end, we built a large experimental dataset and performed extensive experiments with variations in feature sets and learning algorithms. Eventually, our study highlights different approach configurations that yield best performing classifiers.

研究动机与目标

• 调查当前用于检测软件开发中安全相关错误报告的机器学习方法的现状。
• 解决缺乏标准化、大规模数据集以评估安全相关错误报告分类的问题。
• 识别出在高精度检测中，最优的特征、学习算法和超参数组合。
• 通过在多种配置下对模型性能进行全面的实证评估，为未来研究和工具集成提供指导。

提出的方法

• 从开源项目和现有文献中构建了一个大规模、多源的安全相关与非安全相关错误报告数据集。
• 采用 TF-IDF 向量化方法，将错误报告的标题和描述转换为数值特征向量。
• 评估了 11 种监督学习算法，包括树基模型（随机森林、XGBoost）、线性模型（逻辑回归）和神经网络。
• 通过广泛的超参数调优和交叉验证，评估了在不同特征向量大小和输入格式下的模型性能。
• 以 F1 分数为主要指标比较模型性能，分析了在特征维度和算法类型上的性能趋势。
• 报告了训练和验证损失随训练轮次的变化，以确保深度学习实验中的模型稳定性并减轻过拟合。

实验结果

研究问题

• RQ1 哪种特征表示方法（如 TF-IDF、词袋）在安全相关错误报告分类中表现最佳？
• RQ2 不同机器学习算法（树基 vs. 非树基）在不同特征向量大小下，检测安全相关错误报告的性能如何？
• RQ3 特征向量维度对模型性能有何影响，特别是在过拟合和噪声敏感性方面？
• RQ4 与完整描述相比，错误报告标题本身是否包含足够的预测信号以判断其安全相关性？
• RQ5 当在大规模开源数据集上进行训练时，深度学习模型能否有效分类安全相关错误报告？

主要发现

• 基于 TF-IDF 的特征表示在所有评估模型中始终表现最优，实现了最高的 F1 分数。
• 树基分类器（如随机森林和 XGBoost）表现出卓越性能，尤其在与 TF-IDF 特征结合时。
• 非树基分类器（尤其是高斯朴素贝叶斯）在高维特征向量上表现出显著的性能下降，原因在于对噪声的敏感性。
• 性能通常随特征向量大小的增加而提升，但在 50–80 维以上趋于平稳或略有下降，表明在噪声主导前存在一个最优范围。
• 错误报告的描述部分包含比标题本身更多的相关信息，尽管标题对预测仍具有显著贡献。
• 深度学习模型的初步实验显示出潜力，但需要进一步的超参数调优和验证才能实现稳定性能，表明在未优化前直接部署需保持谨慎。