[论文解读] Analyzing the Non-Functional Requirements in the Desharnais Dataset for Software Effort Estimation

Ali Bou Nassif, Luiz Fernando Capretz+1 more|arXiv (Cornell University)|May 6, 2014

Software Engineering Research参考文献 20被引用 8

一句话总结

本研究利用包含81个项目的Desharnais数据集，分析非功能性需求（NFRs）对软件工作量估算的影响。研究采用回归与人工神经网络模型，表明NFRs（尤其是'Language'属性）具有高度显著性，若排除NFRs，估算误差将翻倍（MMRE）。

ABSTRACT

Studying the quality requirements (aka Non-Functional Requirements (NFR)) of a system is crucial in Requirements Engineering. Many software projects fail because of neglecting or failing to incorporate the NFR during the software life development cycle. This paper focuses on analyzing the importance of the quality requirements attributes in software effort estimation models based on the Desharnais dataset. The Desharnais dataset is a collection of eighty one software projects of twelve attributes developed by a Canadian software house. The analysis includes studying the influence of each of the quality requirements attributes, as well as the influence of all quality requirements attributes combined when calculating software effort using regression and Artificial Neural Network (ANN) models. The evaluation criteria used in this investigation include the Mean of the Magnitude of Relative Error (MMRE), the Prediction Level (PRED), Root Mean Squared Error (RMSE), Mean Error and the Coefficient of determination (R2). Results show that the quality attribute Language is the most statistically significant when calculating software effort. Moreover, if all quality requirements attributes are eliminated in the training stage and software effort is predicted based on software size only, the value of the error (MMRE) is doubled.

研究动机与目标

• 调查非功能性需求（NFRs）对软件工作量估算的影响。
• 评估单个及组合的NFR属性在工作量预测模型中的贡献。
• 评估在估算模型中排除NFRs时的性能退化情况。
• 比较回归与人工神经网络（ANN）模型在使用NFRs时预测软件工作量的表现。
• 识别在工作量估算中最具统计显著性的NFR属性。

提出的方法

• 使用包含81个软件项目的Desharnais数据集，其中包含12个属性，包括非功能性需求。
• 应用多元线性回归与人工神经网络（ANN）模型，基于项目规模和NFR属性估算软件工作量。
• 将单个NFR属性（如可靠性、性能、可用性等）作为模型中的预测变量。
• 将所有NFR属性合并为单一模型输入，以评估其对工作量估算的综合影响。
• 使用标准指标评估模型性能：MMRE、PRED、RMSE、平均误差和R²。
• 通过移除所有NFR属性进行消融实验，以衡量其对估算准确率的影响。

实验结果

研究问题

• RQ1 单个非功能性需求属性如何影响软件工作量估算的准确性？
• RQ2 所有非功能性需求属性的综合影响对工作量估算有何影响？
• RQ3 在预测软件工作量时，哪个NFR属性最具统计显著性？
• RQ4 当从估算模型中排除所有NFR属性时，对估算误差有何影响？
• RQ5 当包含NFR时，回归与人工神经网络模型在工作量估算上的表现如何比较？

主要发现

• 'Language'属性被确定为软件工作量估算中最具统计显著性的非功能性需求。
• 在训练阶段排除所有NFR属性后，相对误差绝对值的均值（MMRE）翻倍，表明估算准确率显著下降。
• 在所有评估标准中，包含所有NFR属性显著提升了模型性能，表现为更低的MMRE、RMSE以及更高的R²。
• 当包含NFR时，回归与ANN模型的预测准确率均得到提升，且ANN模型在误差指标上通常优于回归模型。
• NFR属性的综合影响对工作量估算有实质性贡献，表明NFR在工作量建模中并非可忽略的因素。
• 本研究证实，在工作量估算中忽略NFR会导致显著更高的预测误差，尤其是在仅依赖软件规模的情况下。