[論文レビュー] Learning best K analogies from data distribution for case-based software effort estimation

Mohammad Azzeh, Yousef Elsheikh|arXiv (Cornell University)|Mar 11, 2017

Software Engineering Research参考文献 18被引用数 6

ひとこと要約

本稿では、データ分布の分析により、1プロジェクトあたりの類似ケース数（K）を自動的に特定する二分kメディオイドクラスタリングを用いた、新しいKベースの事例ベース推論（CBR）手法を提案する。クラスタリングによるプロジェクト固有の類似性の同定により、従来の固定KのCBR手法に比べて推定精度が向上する。

ABSTRACT

Case-Based Reasoning (CBR) has been widely used to generate good software effort estimates. The predictive performance of CBR is a dataset dependent and subject to extremely large space of configuration possibilities. Regardless of the type of adaptation technique, deciding on the optimal number of similar cases to be used before applying CBR is a key challenge. In this paper we propose a new technique based on Bisecting k-medoids clustering algorithm to better understanding the structure of a dataset and discovering the the optimal cases for each individual project by excluding irrelevant cases. Results obtained showed that understanding of the data characteristic prior prediction stage can help in automatically finding the best number of cases for each test project. Performance figures of the proposed estimation method are better than those of other regular K-based CBR methods.

研究の動機と目的

• ソフトウェア効率推定における事例ベース推論（CBR）における最適な類似ケース数（K）の選択という課題に対処すること。
• 固定値を用いるのではなく、データ構造からKを学習することにより、K選択の主観性と設定の複雑さを低減すること。
• データ駆動型クラスタリングにより不要なケースを除外することで、予測性能を向上させること。
• データ分布に適応する、自動的でプロジェクト固有のK選択を可能にすること。

提案手法

• プロジェクト属性の類似性に基づいて、データセットを意味のあるサブグループに分割するため、二分kメディオイドクラスタリングアルゴリズムを適用する。
• 得られたクラスタを用いて、各テストプロジェクトの最も関連性の高いケースを特定し、プロジェクト固有のK値を効果的に決定する。
• ターゲットプロジェクトと同じクラスタからのケースを選択することで、意味的および構造的な関連性を保証する。
• 類似しないクラスタからのケースを除外することで、ノイズや関連のない類似性の導入を回避する。
• クラスタサイズおよび分布に基づいて、プロジェクトごとに動的にKを割り当てるデータ駆動型アプローチを採用する。
• 選択されたケースを標準的なCBRパイプラインに統合し、効率推定に用いる。

実験結果

リサーチクエスチョン

• RQ1 与えられたデータセットにおいて、個々のソフトウェアプロジェクトの最適な類似ケース数（K）は何か？
• RQ2 データクラスタリング技術は、ソフトウェア効率推定における事例ベース推論の関連ケース選択を改善できるか？
• RQ3 データ分布からKを学習することは、固定Kのアプローチに比べてより高い推定精度をもたらすか？
• RQ4 類似しないクラスタからのケースを除外することは、予測性能にどのように影響するか？

主な発見

• 提案手法は、従来の固定KのCBR手法に比べて優れた推定精度を達成している。
• データ分布からKを学習することで、各プロジェクトに対して最も関連性の高いケースを自動的に特定し、手動による設定依存性を低減している。
• 二分kメディオイドクラスタリングの使用により、データ構造を効果的に捉え、より良いケース選択が可能になった。
• 類似しないクラスタからのケースを除外することで、ノイズを最小限に抑えることにより、予測性能が顕著に向上した。