[論文レビュー] Estimating software reliability in maintenance phase through ann and statistics

Ahmad Mateen, Muhammad Azeem Akbar|arXiv (Cornell University)|May 3, 2016

Software Reliability and Analysis Research被引用数 5

ひとこと要約

本論文では、人工ニューラルネットワーク（ANN）と統計解析を組み合わせたハイブリッド手法を提案し、ソフトウェア保守時間（バグ修正および機能強化に要する時間）を推定する。研究では、保守データに内在する複雑で非線形的な関係を捉えることで、従来の統計的手法よりもANNが保守信頼性の予測において優れた性能を示すことが実証され、従来のモデルに比べて予測精度が向上していることが明らかになった。

ABSTRACT

Maintenance is the last and the most critical phase of the software development life cycle. It involves debugging of errors and different types of enhancements which are requested by the user. Software reliability regarding maintenance is the most crucial part as it depends upon the time and cost to correct the errors and make enchantements. It is often felt that software errors or correction takes time to be removed. The maintenance time depends upon the nature of the occurred errors and requested enhancements. In this research work we predict the software reliability in terms of time taken to maintain the errors and enhancements. Artificial Neural Network is used to analyze and predict the software reliability of the maintenance phase. At the end statistical results and proposed neural network results are also compared to make sure that forecasted results are equal to the output results. These results are compared to show that the ANN can understand the relationship between data in a better way. This research work also shows how much it is difficult to understand the nature of maintenance data.

研究の動機と目的

• ソフトウェア保守時間の予測という課題に取り組むこと。これはコストおよびプロジェクトスケジュールに顕著な影響を及える。
• 保守段階におけるソフトウェア信頼性のモデリングおよび予測に、人工ニューラルネットワーク（ANN）を用いる可能性を調査すること。
• ANNに基づく予測と従来の統計的手法を比較し、予測性能および信頼性を評価すること。
• 予測の正確性を阻害する保守データに内在する本質的で非線形的なパターンを理解すること。

提案手法

• 研究者たちは、エラーの種別、修正時間、機能強化要請などの履歴保守データを用いてトレーニングされた人工ニューラルネットワーク（ANN）モデルを開発した。
• 入力特徴量（例：エラー深刻度、モジュールサイズ）と保守時間との間の複雑で非線形な関係を学習できるように、複数の層とノードを持つANNを設計した。
• 標準回帰手法を用いて統計モデルも構築し、比較のためのベースラインとした。
• 予測値と実際の保守時間の差を評価する指標として、平均絶対誤差（MAE）および平均二乗誤差の平方根（RMSE）を用いてモデルの性能を評価した。
• 多様な保守記録にわたる一貫性を確保するため、トレーニングデータを前処理し、入力特徴量を正規化した。
• 最終的なANNと統計モデルの比較は、予測精度および一般化能力に焦点を当てた。

実験結果

リサーチクエスチョン

• RQ1 履歴データに基づいて、人工ニューラルネットワーク（ANN）はソフトウェア保守時間を効果的にモデリングおよび予測できるか？
• RQ2 ANNの予測精度は、保守信頼性を推定するうえで、従来の統計的手法に比べてどのように異なるか？
• RQ3 ソフトウェア保守データの特徴量と、修正時間または強化時間との間にどのような関係が存在するか？
• RQ4 保守データに内在する非線形パターンは、従来の統計的手法の性能をどの程度阻害するか？
• RQ5 ANNベースの予測は、ソフトウェア保守段階における不確実性を低減し、信頼性推定を向上させることができるか？

主な発見

• ANNモデルは、平均絶対誤差（MAE）および平均二乗誤差の平方根（RMSE）が低いことから、従来の統計的手法に比べて優れた予測精度を示した。
• ANNは、統計モデルが効果的に表現できなかった保守データに内在する複雑で非線形的な関係を捉えることができた。
• 統計モデルは、保守データの不規則さや外れ値に対処する能力に限界があり、信頼性の低い予測結果を生じさせた。
• 比較結果から、ANNはソフトウェア保守プロセスの動的かつ予測不能な性質をモデリングするのに適していることが確認された。
• 本研究では、ANNと統計のハイブリッド的利用が、実世界のソフトウェアプロジェクトにおける保守時間推定の信頼性を高めることを検証した。