[论文解读] Analysis of Empirical Software Effort Estimation Models

M. S. Saleem Basha, P. Dhavachelvan|arXiv (Cornell University)|Apr 8, 2010

Software Engineering Research参考文献 27被引用 56

一句话总结

本文分析了经验性软件工作量估算模型，以评估其在多样化场景下的性能表现。通过使用Wilcoxon符号秩检验进行对比分析，研究发现没有一种估算技术在所有情况下都是最优的，而结合多种模型可获得更可靠的预测结果。

ABSTRACT

Abstract – Reliable effort estimation remains an ongoing challenge to software engineers. Accurate effort estimation is the state of art of software engineering, effort estimation of software is the preliminary phase between the client and the business enterprise. The relationship between the client and the business enterprise begins with the estimation of the software. The credibility of the client to the business enterprise increases with the accurate estimation. Effort estimation often requires generalizing from a small number of historical projects. Generalization from such limited experience is an inherently under constrained problem. Accurate estimation is a complex process because it can be visualized as software effort prediction, as the term indicates prediction never becomes an actual. This work follows the basics of the empirical software effort estimation models. The goal of this paper is to study the empirical software effort estimation. The primary conclusion is that no single technique is best for all situations, and that a careful comparison of the results of several approaches is most likely to produce realistic estimates. Keywords-Software Estimation Models, Conte’s Criteria, Wilcoxon Signed-Rank Test.

研究动机与目标

• 调查各种经验性软件工作量估算模型在预测软件开发工作量方面的有效性。
• 解决在工作量估算中从有限的历史项目数据中进行泛化的固有挑战。
• 确定是否存在一种估算技术在不同场景下始终优于其他技术。
• 评估工作量估算的可信度，以增强软件项目中客户与企业之间的关系。

提出的方法

• 本研究基于历史项目数据，评估多种经验性软件工作量估算模型。
• 采用Conte的标准来评估模型在工作量估算中的质量与可靠性。
• 使用Wilcoxon符号秩检验对模型性能进行统计比较，以识别显著差异。
• 分析聚焦于不同软件开发情境下预测的准确性和一致性。
• 根据模型从少量历史数据集中泛化的能力来评估其表现。
• 该方法强调对比评估，而非依赖单一估算技术。

实验结果

研究问题

• RQ1 在多样化软件开发场景中，哪种经验性软件工作量估算模型表现最佳？
• RQ2 当使用非参数统计检验进行比较时，各估算模型的性能如何变化？
• RQ3 从有限的历史数据中进行泛化，能在多大程度上产生可靠的估算结果？
• RQ4 模型选择对软件开发中客户信任与项目可信度有何影响？

主要发现

• 没有一种软件工作量估算技术在所有场景中始终优于其他技术。
• 对多种模型进行对比评估，可获得比依赖单一方法更现实、更可靠的估算结果。
• 使用Wilcoxon符号秩检验的统计测试揭示了模型之间存在显著的性能差异。
• 准确的工作量估算可增强客户信心，并加强软件项目中的商业关系。
• 工作量估算的预测本质固有限制其准确性，因此模型比较至关重要。
• 基于历史数据的经验模型仍是工作量估算的基础，但其可靠性取决于方法论上的比较。