[论文解读] Learning best K analogies from data distribution for case-based software effort estimation

Mohammad Azzeh, Yousef Elsheikh|arXiv (Cornell University)|Mar 11, 2017

Software Engineering Research参考文献 18被引用 6

一句话总结

本文提出了一种基于K的新型案例推理（CBR）方法，用于软件工作量估算，通过二分k-中心聚类算法自动确定每个项目最相似案例数（K），方法基于数据分布分析。通过聚类识别项目特定的类比，该方法在传统固定K CBR技术的基础上提升了估算精度。

ABSTRACT

Case-Based Reasoning (CBR) has been widely used to generate good software effort estimates. The predictive performance of CBR is a dataset dependent and subject to extremely large space of configuration possibilities. Regardless of the type of adaptation technique, deciding on the optimal number of similar cases to be used before applying CBR is a key challenge. In this paper we propose a new technique based on Bisecting k-medoids clustering algorithm to better understanding the structure of a dataset and discovering the the optimal cases for each individual project by excluding irrelevant cases. Results obtained showed that understanding of the data characteristic prior prediction stage can help in automatically finding the best number of cases for each test project. Performance figures of the proposed estimation method are better than those of other regular K-based CBR methods.

研究动机与目标

• 解决在基于案例推理（CBR）进行软件工作量估算时选择最优相似案例数（K）的挑战。
• 通过从数据结构中学习K而非使用固定值，减少K选择的主观性和配置复杂性。
• 通过数据驱动聚类排除无关案例，提升预测性能。
• 实现自动化的、项目特定的K选择，使其能够适应底层数据分布。

提出的方法

• 应用二分k-中心聚类算法，根据项目属性的相似性将数据集划分为有意义的子组。
• 利用所得聚类识别每个测试项目的最相关案例，从而有效确定项目特定的K值。
• 从与目标项目相同聚类中选择案例，以确保语义和结构的相关性。
• 排除来自不相似聚类的案例，以避免引入噪声或无关类比。
• 采用数据驱动方法，根据聚类大小和分布动态为每个项目分配K。
• 将所选案例集成到标准CBR流程中，用于工作量估算。

实验结果

研究问题

• RQ1 在给定数据集中，每个独立软件项目最优的相似案例数（K）是多少？
• RQ2 数据聚类技术能否改进基于案例推理在软件工作量估算中相关案例的选择？
• RQ3 从数据分布中学习K是否能带来比固定K方法更高的估算精度？
• RQ4 排除来自不相似聚类的案例如何影响预测性能？

主要发现

• 所提出的方法在估算精度方面优于传统的固定K CBR方法。
• 通过从数据分布中学习K，该方法能自动识别每个项目的最相关案例，减少对人工配置的依赖。
• 使用二分k-中心聚类能有效捕捉数据结构，从而实现更优的案例选择。
• 排除来自不相似聚类的案例显著提升了预测性能，有效降低了噪声影响。