[論文レビュー] Analyzing the Non-Functional Requirements in the Desharnais Dataset for Software Effort Estimation

Ali Bou Nassif, Luiz Fernando Capretz+1 more|arXiv (Cornell University)|May 6, 2014

Software Engineering Research参考文献 20被引用数 8

ひとこと要約

本研究では、81プロジェクトのDesharnaisデータセットを用いて、非機能要件（NFRs）がソフトウェア作業量推定に与える影響を分析している。重回帰分析および人工ニューラルネットワーク（ANN）モデルを適用した結果、NFRs、特に「Language」属性が顕著に重要であることが示され、それらを除外すると推定誤差が2倍になる（MMRE）。

ABSTRACT

Studying the quality requirements (aka Non-Functional Requirements (NFR)) of a system is crucial in Requirements Engineering. Many software projects fail because of neglecting or failing to incorporate the NFR during the software life development cycle. This paper focuses on analyzing the importance of the quality requirements attributes in software effort estimation models based on the Desharnais dataset. The Desharnais dataset is a collection of eighty one software projects of twelve attributes developed by a Canadian software house. The analysis includes studying the influence of each of the quality requirements attributes, as well as the influence of all quality requirements attributes combined when calculating software effort using regression and Artificial Neural Network (ANN) models. The evaluation criteria used in this investigation include the Mean of the Magnitude of Relative Error (MMRE), the Prediction Level (PRED), Root Mean Squared Error (RMSE), Mean Error and the Coefficient of determination (R2). Results show that the quality attribute Language is the most statistically significant when calculating software effort. Moreover, if all quality requirements attributes are eliminated in the training stage and software effort is predicted based on software size only, the value of the error (MMRE) is doubled.

研究の動機と目的

• 非機能要件（NFRs）がソフトウェア作業量推定に与える影響を調査すること。
• 個々のNFR属性およびそれらの組み合わせが作業量予測モデルに与える寄与度を評価すること。
• NFRsが推定モデルから除外された場合の性能低下を評価すること。
• 重回帰分析と人工ニューラルネットワーク（ANN）モデルを用いたNFRsを含むソフトウェア作業量予測の比較。
• 作業量推定において最も統計的に有意なNFR属性を特定すること。

提案手法

• 非機能要件を含む12の属性を有する81件のソフトウェアプロジェクトを含むDesharnaisデータセットを用いた。
• プロジェクトの規模とNFR属性に基づいてソフトウェア作業量を推定するために、複数重回帰分析および人工ニューラルネットワーク（ANN）モデルを適用した。
• 個々のNFR属性（例：信頼性、パフォーマンス、使いやすさ）を予測変数としてモデルに組み込んだ。
• すべてのNFR属性を1つのモデル入力に統合し、それらの集団的影響を推定作業量に与える影響を評価した。
• 標準指標（MMRE、PRED、RMSE、平均誤差、R²）を用いてモデルの性能を評価した。
• NFR属性をすべて除外することで、推定精度への影響を測定するためのアブレーション実験を実施した。

実験結果

リサーチクエスチョン

• RQ1 個々の非機能要件属性は、ソフトウェア作業量推定の正確性にどのように影響するか？
• RQ2 すべての非機能要件属性が作業量推定に与える統合的影響は何か？
• RQ3 作業量予測において最も統計的に有意なNFR属性は何か？
• RQ4 すべてのNFR属性を除外すると、作業量推定モデルの誤差にどのような影響が生じるか？
• RQ5 NFRsを含む場合、重回帰分析と人工ニューラルネットワーク（ANN）モデルの作業量推定性能はどのように比較できるか？

主な発見

• 「Language」属性が、ソフトウェア作業量推定において最も統計的に有意な非機能要件であった。
• 訓練段階ですべてのNFR属性を除外すると、相対誤差の絶対値の平均（MMRE）が2倍に増加し、推定精度の著しい低下が示された。
• すべてのNFR属性を含めることで、MMRE、RMSEの低減およびR²の向上を含む、すべての評価基準でモデル性能が顕著に向上した。
• 重回帰分析モデルおよびANNモデルの両方とも、NFRsを含めることで予測精度が向上し、特にANNモデルが誤差指標において一般に重回帰分析を上回った。
• NFR属性の統合的影響は、作業量推定に有意義に寄与しており、NFRsが作業量モデルにおいて無視できない要因であることが示された。
• 本研究は、作業量推定においてNFRsを無視すると、特にソフトウェア規模に依存する場合に著しく高い予測誤差が生じることを確認した。