[论文解读] An empirical study of public data quality problems in cross project defect prediction

Zhongbin Sun, Junqi Li+1 more|arXiv (Cornell University)|May 28, 2018

Software Engineering Research参考文献 3被引用 7

一句话总结

本研究识别并解决了广泛使用的 Jureczko 数据集在跨项目缺陷预测（CPDP）中存在的一些数据质量问题——特别是重复和不一致的缺陷案例。通过清洗数据集，并采用三种数据选择方法和两种分类器比较性能，作者表明，清洗后的数据能产生显著不同且更可靠的预测结果，凸显了数据质量对 CPDP 准确性的关键影响。

ABSTRACT

Background: Two public defect data, including Jureczko and NASA datasets, have been widely used in cross project defect prediction (CPDP). The quality of defect data have been reported as an important factor influencing the defect prediction performance and Shepperd et al. have researched the data quality problems in NASA datasets. However, up to now, there is no research focusing on the quality problems of Jureczko datasets which are most widely used in CPDP. Aims: In this paper, we intend to investigate the problems of identical and inconsistent cases in Jureczko datasets and validate whether removing these problematic cases will make a difference to defect prediction performance in CPDP. Method: The problems of identical and inconsistent cases are reported from two aspects, respectively in each individual dataset and in a pair of datasets from different releases of a software project. Then a cleaned version of Jureczko datasets is provided by removing duplicate and inconsistent cases. Finally three training data selection methods are employed to compare the defect prediction performance of cleaned datasets with that of original datasets. Results: The experimental results in terms of AUC and F-Measure show that most datasets obtain very different defect prediction performance. Conclusions: It is very necessary to study the data quality problems in CPDP and the cleaned Jureczko datasets may provide more reliable defect prediction performance in CPDP.

研究动机与目标

• 调查广泛使用的 Jureczko 数据集在跨项目缺陷预测（CPDP）中存在的一些数据质量问题，特别是完全相同和不一致的案例。
• 评估删除重复和不一致案例是否能提升 CPDP 中的缺陷预测性能。
• 提供清洗后的 Jureczko 数据集版本，以支持更可靠和可复现的 CPDP 研究。
• 使用标准的训练数据选择方法和评估指标，比较原始数据集与清洗后数据集的性能。

提出的方法

• 在单个 Jureczko 数据集内部以及同一软件项目不同版本之间，识别完全相同和不一致的缺陷案例。
• 提出一种数据清洗方法，从 Jureczko 数据集中移除重复和不一致的缺陷案例。
• 通过基于代码和缺陷元数据对齐，消除有问题的案例，生成清洗后的 Jureczko 数据集版本。
• 应用三种训练数据选择方法——PetersF、BurakF 和 NearestNeighbor——来为 CPDP 模型选择源数据。
• 使用两种分类器（C4.5 和 Random Forest）以及两种评估指标（AUC 和 F-Measure）评估模型性能。
• 在原始数据集与清洗后数据集之间进行对比实验，以评估性能差异。

实验结果

研究问题

• RQ1 在各个项目及其不同版本中，Jureczko 数据集中完全相同和不一致的缺陷案例占多大比例？
• RQ2 重复和不一致的案例如何影响跨项目缺陷预测模型的性能？
• RQ3 移除这些有问题的案例是否能带来可测量的性能提升？
• RQ4 在多个数据集和评估指标下，原始数据集与清洗后数据集之间的性能差异是否具有统计显著性？

主要发现

• 清洗后的 Jureczko 数据集与原始数据集相比，缺陷预测性能存在显著差异，表明数据质量问题会直接影响模型的可靠性。
• 在大多数数据集中，数据清洗后 AUC 和 F-Measure 值发生了显著变化，平均 AUC 变化范围在 -3.02% 到 3.09% 之间。
• F-Measure 的变化比 AUC 更为明显，更多数据集显示出非零的性能差异，表明 F-Measure 对数据质量的敏感性更强。
• 研究发现，几乎所有数据集在三种训练数据选择方法下均存在非零的性能差异，证实了数据质量问题的广泛影响。
• 结果表明，公共数据集（如 Jureczko）中的数据质量问题可能导致 CPDP 研究结果产生误导或不一致。
• 作者得出结论：清洗公共数据集对于实现更准确、更可靠的跨项目缺陷预测结果至关重要。