[論文レビュー] Software Effort Estimation using Radial Basis and Generalized Regression Neural Networks

P. V. G. D. Prasad Reddy, K. Sudha+2 more|arXiv (Cornell University)|May 21, 2010

Software Engineering Research参考文献 7被引用数 59

ひとこと要約

本稿では、従来のCOCOMOモデルの不正確さを是正するため、ソフトウェア作業量推定にための径数基底関数（RBF）および一般化回帰ニューラルネットワーク（GRNN）モデルを提案する。COCOMO81データセットを用いて、RBFモデルは複数の指標において中間COCOMOを上回り、不完全で不確実なプロジェクトデータの処理において優れた正確性を示した。

ABSTRACT

Software development effort estimation is one of the most major activities in software project management. A number of models have been proposed to construct a relationship between software size and effort; however we still have problems for effort estimation. This is because project data, available in the initial stages of project is often incomplete, inconsistent, uncertain and unclear. The need for accurate effort estimation in software industry is still a challenge. Artificial Neural Network models are more suitable in such situations. The present paper is concerned with developing software effort estimation models based on artificial neural networks. The models are designed to improve the performance of the network that suits to the COCOMO Model. Artificial Neural Network models are created using Radial Basis and Generalized Regression. A case study based on the COCOMO81 database compares the proposed neural network models with the Intermediate COCOMO. The results were analyzed using five different criterions MMRE, MARE, VARE, Mean BRE and Prediction. It is observed that the Radial Basis Neural Network provided better results

研究の動機と目的

• 初期開発段階における不完全、一貫性のない、または不確実なプロジェクトデータによるソフトウェア作業量推定の不正確さという、長年の課題に対処する。
• データの不確実性に対処できず、正確性に欠ける中間COCOMOのような従来モデルの改善を図る。
• 実世界のソフトウェアプロジェクトに一般的に見られるノイズが多く、スパarsな入力データをより効果的に処理できるニューラルネットワークベースの作業量推定モデルを開発する。
• 標準化された正確性指標を用いて、RBFおよびGRNNモデルのCOCOMO81に対する性能を評価する。
• 人工ニューラルネットワークがソフトウェア作業量推定の信頼性を向上させる可能性と有効性を実証する。

提案手法

• 非線形マッピングを用いて、ソフトウェアサイズと作業量の関係をモデル化するため、径数基底関数（RBF）ニューラルネットワークを採用する。
• 回帰ベースの作業量推定の代替手法として、一般化回帰ニューラルネットワーク（GRNN）を実装する。
• 歴史的ソフトウェアプロジェクトデータ（サイズおよび作業量属性を含む）を含むCOCOMO81データセットを用いて、RBFおよびGRNNモデルを学習する。
• ケーススタディアプローチを用いて、COCOMO81データベースからの実際の作業量値とモデルの予測値を比較する。
• 5つの性能指標（MMRE、MARE、VARE、Mean BRE、Prediction）を用いて、モデルの正確性を評価および比較する。
• 実世界のシナリオにおける汎化性能の向上と推定誤差の低減を図るため、ネットワークパラメータを最適化する。

実験結果

リサーチクエスチョン

• RQ1 RBFおよびGRNNニューラルネットワークは、中間COCOMOモデルと比較してソフトウェア作業量推定の正確性を向上させることができるか？
• RQ2 不完全または不確実な属性を有する実世界のソフトウェアプロジェクトデータにおいて、RBFおよびGRNNモデルはどのように性能を発揮するか？
• RQ3 MMRE、MARE、および予測正確性の観点から、RBFとGRNNのどちらのニューラルネットワークアーキテクチャがより優れた推定結果をもたらすか？
• RQ4 データの不一致や不確実性が存在する状況において、ニューラルネットワークモデルは推定誤差をどの程度低減できるか？
• RQ5 ニューラルネットワークは、初期プロジェクト段階におけるソフトウェアサイズと作業量の非線形的関係を効果的にモデル化できるか？

主な発見

• 径数基底関数（RBF）ニューラルネットワークモデルは、平均相対誤差の大きさ（MMRE）が最小となり、全体的な推定正確性が優れていることを示した。
• RBFは、MMRE、MARE、VARE、Mean BRE、予測率の5つの評価基準すべてにおいて、中間COCOMOを上回った。
• GRNNモデルは競争力のある性能を示したが、すべての主要指標においてRBFモデルに常に劣っていた。
• 両方のニューラルネットワークモデルは、従来モデルの主な制限要因である不完全で不確実なプロジェクトデータの処理において、強靭性を示した。
• RBFモデルは高い予測率を達成しており、推定値の大部分が許容可能な25％誤差範囲内に入ったことを意味する。
• 本研究は、特にRBFを含む人工ニューラルネットワークが、実世界の環境においてソフトウェア作業量推定の正確性を向上させるのに有効であることを確認した。