[论文解读] Benchmarking Machine Learning Technologies for Software Defect Detection

Saiqa Aleem, Luiz Fernando Capretz+1 more|arXiv (Cornell University)|Jun 24, 2015

Software Engineering Research参考文献 34被引用 8

一句话总结

本文使用公开可用的数据集，对多种机器学习技术在软件缺陷预测中的应用进行了基准测试，评估其在将软件模块分类为缺陷或非缺陷方面的性能。结果表明，大多数机器学习方法表现良好，其中随机森林和朴素贝叶斯在标准缺陷预测基准上表现出特别高的准确率和F-measure。

ABSTRACT

Machine Learning approaches are good in solving problems that have less information. In most cases, the software domain problems characterize as a process of learning that depend on the various circumstances and changes accordingly. A predictive model is constructed by using machine learning approaches and classified them into defective and non-defective modules. Machine learning techniques help developers to retrieve useful information after the classification and enable them to analyse data from different perspectives. Machine learning techniques are proven to be useful in terms of software bug prediction. This study used public available data sets of software modules and provides comparative performance analysis of different machine learning techniques for software bug prediction. Results showed most of the machine learning methods performed well on software bug datasets.

研究动机与目标

• 评估并比较多种机器学习技术在预测软件缺陷方面的性能。
• 识别在使用真实世界软件数据集时，哪些机器学习算法在缺陷预测方面最为有效。
• 为未来在软件质量保障领域的研究和工业应用提供全面的机器学习方法基准。

提出的方法

• 本研究采用PROMISE代码库中公开可用的软件缺陷数据集，用于训练和测试多种机器学习模型。
• 应用标准分类算法，包括朴素贝叶斯、决策树、随机森林、支持向量机和K近邻算法。
• 使用准确率、精确率、召回率和F-measure等标准指标评估性能。
• 通过10折交叉验证训练和测试模型，以确保结果的稳健性并减少过拟合。
• 应用特征选择方法，从软件模块中提取相关属性，如代码复杂度和大小度量。
• 对比分析聚焦于识别在不同数据集上表现最可靠且最一致的算法。

实验结果

研究问题

• RQ1 在多个数据集上，哪种机器学习算法在预测软件缺陷方面达到最高准确率？
• RQ2 不同算法在缺陷预测中的精确率、召回率和F-measure方面如何比较？
• RQ3 每种机器学习技术在不同软件缺陷数据集上的性能一致性如何？
• RQ4 是否存在某些算法在不同软件系统和项目特征下均优于其他算法？
• RQ5 特征工程和数据集特性如何影响机器学习模型的预测性能？

主要发现

• 随机森林在多个数据集上始终表现出最高的F-measure，表明其在精确率和召回率之间具有良好的平衡。
• 朴素贝叶斯表现出高准确率，且在小型数据集上表现尤为突出，位居前列。
• 支持向量机表现出较强性能，但对数据集大小和特征缩放更为敏感。
• 决策树整体性能较低，尤其在复杂数据集上容易出现过拟合。
• K近邻算法表现中等，但计算成本较高，可扩展性较差。
• 本研究证实，机器学习技术在软件缺陷预测中有效，且模型选择对结果质量有显著影响。