[論文レビュー] Analysis of Empirical Software Effort Estimation Models

M. S. Saleem Basha, P. Dhavachelvan|arXiv (Cornell University)|Apr 8, 2010

Software Engineering Research参考文献 27被引用数 56

ひとこと要約

本稿は、多様な状況下での実践的ソフトウェア作業量推定モデルの性能を評価するために、実証的ソフトウェア作業量推定モデルを分析する。ウィルコクソン符号順位検定を用いた比較分析により、いかなる単一の推定技術も普遍的に最適であるとは言えず、複数のモデルを組み合わせることでより信頼性の高い予測が得られることを結論づける。

ABSTRACT

Abstract – Reliable effort estimation remains an ongoing challenge to software engineers. Accurate effort estimation is the state of art of software engineering, effort estimation of software is the preliminary phase between the client and the business enterprise. The relationship between the client and the business enterprise begins with the estimation of the software. The credibility of the client to the business enterprise increases with the accurate estimation. Effort estimation often requires generalizing from a small number of historical projects. Generalization from such limited experience is an inherently under constrained problem. Accurate estimation is a complex process because it can be visualized as software effort prediction, as the term indicates prediction never becomes an actual. This work follows the basics of the empirical software effort estimation models. The goal of this paper is to study the empirical software effort estimation. The primary conclusion is that no single technique is best for all situations, and that a careful comparison of the results of several approaches is most likely to produce realistic estimates. Keywords-Software Estimation Models, Conte’s Criteria, Wilcoxon Signed-Rank Test.

研究の動機と目的

• ソフトウェア開発作業量を予測するための、さまざまな実証的ソフトウェア作業量推定モデルの有効性を調査すること。
• 作業量推定における限られた歴史的プロジェクトデータからの一般化の課題に対処すること。
• 特定の推定技術が、さまざまな状況下で一貫して他の技術を上回るかどうかを特定すること。
• 作業量推定の信頼性が、ソフトウェアプロジェクトにおけるクライアントとビジネスの関係を強化する影響を評価すること。

提案手法

• 本研究は、歴史的プロジェクトデータに基づいて、多数の実証的ソフトウェア作業量推定モデルを評価する。
• モデルの品質と信頼性を評価するために、コンテの基準が適用される。
• ウィルコクソン符号順位検定を用いて、モデルのパフォーマンスを統計的に比較し、有意差を特定する。
• 分析は、多様なソフトウェア開発文脈における予測の正確性と一貫性に焦点を当てる。
• モデルが小規模な歴史的データセットから一般化できる能力に基づいて評価される。
• 研究手法は、単一の推定技術への依存ではなく、比較的評価を重視する。

実験結果

リサーチクエスチョン

• RQ1 多様なソフトウェア開発状況下で、どの実証的ソフトウェア作業量推定モデルが最も優れているか？
• RQ2 非パラメトリック統計的検定を用いて比較した場合、個々の推定モデルのパフォーマンスはどのように変動するか？
• RQ3 限られた歴史的データからの一般化は、どの程度信頼性のある作業量推定を可能にするか？
• RQ4 モデル選択が、ソフトウェア開発におけるクライアントの信頼とプロジェクトの信頼性に与える影響は何か？

主な発見

• いかなる単一のソフトウェア作業量推定技術も、すべての状況で一貫して他の技術を上回るとは限らない。
• 複数のモデルを比較評価することで、単一の手法に依存するよりも現実的で信頼性の高い作業量推定が得られる。
• ウィルコクソン符号順位検定を用いた統計的検定により、モデル間で顕著なパフォーマンス差が明らかになった。
• 正確な作業量推定は、クライアントの信頼を高め、ソフトウェアプロジェクトにおけるビジネス関係を強化する。
• 作業量推定の性質上、その正確性には限界があるため、モデルの比較が不可欠である。
• 歴史的データに基づく実証的モデルは作業量推定の基盤を占めるが、その信頼性は手法論的比較に依存する。