[論文レビュー] Negative Results for Software Effort Estimation

Tim Menzies, Ye Yang+3 more|arXiv (Cornell University)|Sep 18, 2016

Software Engineering Research参考文献 53被引用数 9

ひとこと要約

本論文は、4つのCOCOMO風データセットを用いて、現代のソフトウェア作業量推定手法が古典的なCOCOMO 2000パrametricモデルに対して評価されている。数十年にわたる革新にもかかわらず、研究ではCOCOMO 2000がスペクトラルクラスタリング、インスタンス選択、CARTといった新しい手法を常に上回っていることが判明し、作業量推定において、アルゴリズムの複雑さよりもデータの質と構造が重要であると結論している。

ABSTRACT

Context:More than half the literature on software effort estimation (SEE) focuses on comparisons of new estimation methods. Surprisingly, there are no studies comparing state of the art latest methods with decades-old approaches. Objective:To check if new SEE methods generated better estimates than older methods. Method: Firstly, collect effort estimation methods ranging from "classical" COCOMO (parametric estimation over a pre-determined set of attributes) to "modern" (reasoning via analogy using spectral-based clustering plus instance and feature selection, and a recent "baseline method" proposed in ACM Transactions on Software Engineering).Secondly, catalog the list of objections that lead to the development of post-COCOMO estimation methods.Thirdly, characterize each of those objections as a comparison between newer and older estimation methods.Fourthly, using four COCOMO-style data sets (from 1991, 2000, 2005, 2010) and run those comparisons experiments.Fifthly, compare the performance of the different estimators using a Scott-Knott procedure using (i) the A12 effect size to rule out "small" differences and (ii) a 99% confident bootstrap procedure to check for statistically different groupings of treatments). Results: The major negative results of this paper are that for the COCOMO data sets, nothing we studied did any better than Boehm's original procedure. Conclusions: When COCOMO-style attributes are available, we strongly recommend (i) using that data and (ii) use COCOMO to generate predictions. We say this since the experiments of this paper show that, at least for effort estimation,how data is collected is more important than what learner is applied to that data.

研究の動機と目的

• 現代のソフトウェア作業量推定手法が、古典的なCOCOMO 2000パrametricモデルを上回るかどうかを評価すること。
• COCOMO以降の推定手法の開発を促した批判を特定・分析すること。
• 標準化されたデータセットを用いて、新しい手法が元々のCOCOMO-IIフレームワークを改善しているかどうかを評価すること。
• データ収集フォーマット（COCOMOオントロジー）が、学習アルゴリズムの選択よりも予測精度に与える影響が大きいかどうかを検証すること。
• COCOMO風のデータが利用可能な場合、COCOMO 2000を信頼できるベースラインとして使用することを提唱すること。

提案手法

• 古典的なCOCOMO（パラメトリック）から、スペクトラルクラスタリング、インスタンス選択、特徴選択、CARTに至るまでの多様な推定手法を収集・評価した。
• 新しい推定手法の開発を促した批判をリスト化し、それらを旧来手法と新しい手法の比較としてフレームワーク化した。
• 4つのCOCOMO風データセット（1991年、2000年、2005年、2010年）を用いた制御実験を通じて、手法のパフォーマンスを比較した。
• 性能の差に統計的に有意な差があるかを特定するため、Scott-Knott手順を適用した。
• A12効果量を用いて微小な差をフィルタリングし、意味のある性能差のみを考慮するようにした。
• グループ化された手法のパフォーマンスの妥当性を保証するため、99％信頼区間のブートストラップ再サンプリング手順を採用した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 作業量推定において、パラメトリック推定は単にコード行数（LOC）を使うのと同等か、それ以下の性能にとどまるのか？
• RQ2 RQ2: 作業量推定分野における革新が、COCOMO 2000のようなパラメトリック推定手法をすでに凌駆しているのか？
• RQ3 RQ3: COCOMO 2000に見られるような古くからのパラメトリックチューニングは、最新のモデルと比較して依然として有効で妥当なのか？
• RQ4 RQ4: 特徴量、行、列の削減（プルーニング）によってパラメトリック推定を単純化しても、精度を損なわずに済むのか？

主な発見

• 4つのCOCOMO風データセットすべてにおいて、COCOMO 2000パラメトリックモデルは、テストされたすべての新しい推定手法と同等か、それ以上の性能を示した。
• 本研究では、COCOMO 2000に対して、現代の非パラメトリックまたはアンサンブル手法を用いた場合に、予測精度が統計的に有意に向上したとは確認できなかった。
• A12効果量分析により、COCOMO 2000と新しい手法との間の差が実用的に意味がないことが確認された。
• 特徴選択、インスタンス選択、クラスタリング手法を適用した後でも、同じデータ上でCOCOMO 2000を上回る手法は得られなかった。
• 結果から、データ収集フォーマット（COCOMOオントロジー）が、学習アルゴリズムの選択よりも予測品質に強い影響を与えていることが示唆された。
• 著者らは、COCOMO風の属性が利用可能な場合、COCOMO 2000が依然として妥当で信頼性があり、推奨されるベースラインであると結論づけている。