[論文レビュー] Use Case Point Approach Based Software Effort Estimation using Various Support Vector Regression Kernel Methods

Shashank Mouli Satapathy, Santanu Kumar Rath|arXiv (Cornell University)|Jan 14, 2014

Software Engineering Research参考文献 9被引用数 12

ひとこと要約

本稿では、Use Case Point (UCP) アプローチと複数のサポートベクターレグレッション (SVR) カーネル手法（線形、多項式、RBF、シグモイド）を統合することで、予測精度を向上させた拡張されたソフトウェア労力推定モデルを提案する。RBF カーネルを用いた SVR モデルが、MMRE（0.3857）を最低に抑え、予測精度（98.0188%）が最も高かった。これは、他のカーネルおよび文献に登録された既存手法を上回った。

ABSTRACT

The job of software effort estimation is a critical one in the early stages of the software development life cycle when the details of requirements are usually not clearly identified. Various optimization techniques help in improving the accuracy of effort estimation. The Support Vector Regression (SVR) is one of several different soft-computing techniques that help in getting optimal estimated values. The idea of SVR is based upon the computation of a linear regression function in a high dimensional feature space where the input data are mapped via a nonlinear function. Further, the SVR kernel methods can be applied in transforming the input data and then based on these transformations, an optimal boundary between the possible outputs can be obtained. The main objective of the research work carried out in this paper is to estimate the software effort using use case point approach. The use case point approach relies on the use case diagram to estimate the size and effort of software projects. Then, an attempt has been made to optimize the results obtained from use case point analysis using various SVR kernel methods to achieve better prediction accuracy.

研究の動機と目的

• COCOMO やファンクションポイント分析といった伝統的なソフトウェア労力推定モデルの限界を解決すること。これらは手続き的パラダイムに依存しており、開発初期段階で精度が低い。
• UCP モデルがソフトウェアサイズと労力の間で線形関係を仮定しているという点を克服すること。これは推定精度を低下させる要因となる。
• UCPに基づく労力推定を最適化するために、さまざまな SVR カーネル手法を適用することで予測精度を向上させること。
• 線形、多項式、RBF、シグモイドの各 SVR カーネルの性能を、UCP メトリクスを用いたソフトウェア労力推定において比較すること。
• 機械学習ベースの SVR モデルが、従来の回帰モデルやヒューリスティックモデルと比較して、開発初期段階のソフトウェア労力推定において顕著に優れていることを示すこと。

提案手法

• UCP アプローチを用いて、使用ケース数とアクター数に基づき、それぞれが単純、平均、複雑の3段階に分類され、それに応じた複雑度乗数が割り当てられる。
• 得られた UCP 値を、線形、多項式、径路基底関数（RBF）、シグモイドの4つの異なる SVR カーネル手法の入力特徴として使用する。
• サポートベクターレグレッション（SVR）は、非線形写像関数を用いて高次元の特徴空間で最適な回帰境界を見つけることで、予測誤差を最小化する。
• モデルパラメータは MATLAB を用いて最適化され、性能評価には標準指標（平均相対誤差の絶対値：MMRE および予測精度：PRED）が使用された。
• 17のテストケース（全84件のデータセットから抽出）を用いて、各 SVR カーネル手法の正確性と誤差率を比較分析した。
• 一貫性を保つために、同じデータセットを用いて、回帰、ニューラルネットワーク、ファジィ推論システム、TreeBoost といった既存モデルとベンチマーク比較が行われた。

実験結果

リサーチクエスチョン

• RQ1 線形、多項式、RBF、シグモイドのうち、どの SVR カーネル手法が Use Case Point (UCP) モデルと組み合わせた場合に最も正確なソフトウェア労力推定を実現するか？
• RQ2 UCP と SVR を統合することで、従来の回帰ベースの UCP 推定と比較して、平均相対誤差の絶対値（MMRE）を顕著に低減できるか？
• RQ3 提案された RBF-SVR モデルの性能は、TreeBoost や人工ニューラルネットワーク、ファジィ推論システムといった最先端モデルと比較して、予測精度の面で優れているか？
• RQ4 SVR カーネルの非線形写像機能は、UCP サイズと実際のソフトウェア労力の間の非線形関係を効果的に捉えているか？
• RQ5 提案されたモデルは、線形または単純な回帰方程式に依存する既存の UCP ベースのモデルよりも高い予測精度を達成できるか？

主な発見

• RBF カーネルを用いた SVR モデルが、MMRE（0.3857）を最低に抑え、線形（0.5438）、多項式（1.0003）、シグモイド（0.6049）カーネルを上回った。
• RBF-SVR モデルは予測精度が 98.0188% に達し、次に高い精度を示した線形カーネル（97.7421%）および関連研究で言及されたすべてのモデルを上回った。
• 文献に登録された最良の既存手法（回帰ベースの UCP 推定：95.8% の精度）を上回り、2.22% の高い予測精度を達成した。
• 多項式およびシグモイドカーネルは高い誤差率を示し、特に多項式カーネルが最高の MMRE（1.0003）を記録し、テストデータに対する一般化能力が低いことが示された。
• 結果から、非線形 SVR カーネル、特に RBF が、UCP サイズと実際のソフトウェア労力の間の複雑な非線形関係をモデル化するのに適していることが明らかになった。
• 本研究では、UCP と統合されたソフトコンピューティング技術（SVR）が、特に RBF カーネルを用いることで、開発初期段階のソフトウェア労力推定精度を顕著に向上させられることを確認した。