[论文解读] How Far Does the Predictive Decision Impact the Software Project? The Cost, Service Time, and Failure Analysis from a Cross-Project Defect Prediction Model

Umamaheswara Sharma B, Ravichandra Sadam|arXiv (Cornell University)|Sep 28, 2022

Software Reliability and Analysis Research被引用 8

一句话总结

该论文提出了一种混合诱导器集成学习（HIEL）框架，结合概率加权多数投票（PWMV），用于跨项目缺陷预测（CPDP），在PROMISE、NASA和AEEEM数据集上显著提升了F-measure和AUC。该模型通过引入项目特定指标——PPC（成本节约）、PNPC（剩余工作量）和FOR（故障风险），降低了项目成本、服务时间和故障率。

ABSTRACT

Context: Cross-project defect prediction (CPDP) models are being developed to optimize the testing resources. Objectives: Proposing an ensemble classification framework for CPDP as many existing models are lacking with better performances and analysing the main objectives of CPDP from the outcomes of the proposed classification framework. Method: For the classification task, we propose a bootstrap aggregation based hybrid-inducer ensemble learning (HIEL) technique that uses probabilistic weighted majority voting (PWMV) strategy. To know the impact of HIEL on the software project, we propose three project-specific performance measures such as percent of perfect cleans (PPC), percent of non-perfect cleans (PNPC), and false omission rate (FOR) from the predictions to calculate the amount of saved cost, remaining service time, and percent of the failures in the target project. Results: On many target projects from PROMISE, NASA, and AEEEM repositories, the proposed model outperformed recent works such as TDS, TCA+, HYDRA, TPTL, and CODEP in terms of F-measure. In terms of AUC, the TCA+ and HYDRA models stand as strong competitors to the HIEL model. Conclusion: For better predictions, we recommend ensemble learning approaches for the CPDP models. And, to estimate the benefits from the CPDP models, we recommend the above project-specific performance measures.

研究动机与目标

• 解决现有CPDP模型在不同项目间性能与泛化能力方面的局限性。
• 开发一种基于集成的分类框架，通过基学习器的多样性提升预测准确性。
• 引入与应用相关的性能度量（PPC、PNPC、FOR），将模型预测与实际项目结果（如成本节约与剩余工作量）关联。
• 通过实证验证HIEL模型相较于近期CPDP方法（如TCA+、HYDRA、TDS、TPTL和CODEP）的性能。
• 通过量化成本、时间与故障影响，展示CPDP模型对软件项目管理的实际影响。

提出的方法

• HIEL框架采用自助聚合方法，利用六种不同的诱导器（逻辑回归、SVM、决策树、朴素贝叶斯、k-NN和神经网络）生成60个分类器。
• 每种诱导器均在源项目缺陷数据的随机增强子集上进行训练，以确保集成中学习器的多样性。
• 概率加权多数投票（PWMV）组合器根据分类器的预测准确率动态分配权重，利用参数β惩罚错误并增强正确预测。
• PWMV机制确保了集成中表现最佳专家所犯错误数量的紧致上界。
• 框架将模块大小（代码行数）与混淆矩阵数据结合，推导出项目特定的性能度量：PPC、PNPC和FOR。
• 在PROMISE、NASA和AEEEM代码库上进行实证评估，采用标准指标（F-measure、AUC）及所提出的基于结果的度量。

实验结果

研究问题

• RQ1 所提出的HIEL集成模型在F-measure和AUC方面，相较于近期CPDP模型（如TCA+、HYDRA、TDS、TPTL和CODEP）的性能表现如何？
• RQ2 HIEL模型在多大程度上可通过新型性能度量（PPC、PNPC、FOR）降低项目成本、剩余服务时间与故障率？
• RQ3 在集成框架中使用多样化的基分类器是否能带来更好的泛化能力，并提升跨项目场景下的缺陷预测性能？
• RQ4 PWMV策略是否能有效适应不同分类器的性能变化，并最小化最终预测决策中的错误？
• RQ5 项目特定度量（PPC、PNPC、FOR）如何为项目经理提供超越传统机器学习评估指标的实际决策支持？

主要发现

• 在PROMISE、NASA和AEEEM代码库的多个目标项目中，HIEL模型在F-measure方面优于TDS、TCA+、HYDRA、TPTL和CODEP。
• 在AUC方面，HIEL模型与TCA+和HYDRA表现相当，后者是评估中最强的基准模型。
• 所提出的项目特定度量——PPC（完美清除率百分比）、PNPC（非完美清除率百分比）和FOR（假阴性率）——为成本节约、剩余工作量与故障风险提供了可操作的洞察。
• PPC表明，该模型通过早期识别无缺陷模块，显著节约了项目预算的百分比。
• PNPC揭示了剩余的测试工作量，表明该模型有效减轻了测试团队的工作负担。
• FOR值表明，该模型最大限度地降低了发布软件中未检测到缺陷的风险，较低的FOR意味着更高的故障规避可靠性。