[論文レビュー] An empirical study of public data quality problems in cross project defect prediction

Zhongbin Sun, Junqi Li+1 more|arXiv (Cornell University)|May 28, 2018

Software Engineering Research参考文献 3被引用数 7

ひとこと要約

本研究では、クロスプロジェクト欠陥予測（CPDP）に広く用いられるJureczkoデータセットにおけるデータ品質の問題——特に重複および一貫性のない欠陥ケース——を特定し、解決する。データセットのクリーニングと、3つのデータ選択手法および2つの分類器を用いた性能比較を通じて、クリーニング済みデータが著しく異なる、より信頼性の高い予測結果をもたらすことを示した。これは、データ品質がCPDPの正確性に与える影響が極めて大きいことを強調している。

ABSTRACT

Background: Two public defect data, including Jureczko and NASA datasets, have been widely used in cross project defect prediction (CPDP). The quality of defect data have been reported as an important factor influencing the defect prediction performance and Shepperd et al. have researched the data quality problems in NASA datasets. However, up to now, there is no research focusing on the quality problems of Jureczko datasets which are most widely used in CPDP. Aims: In this paper, we intend to investigate the problems of identical and inconsistent cases in Jureczko datasets and validate whether removing these problematic cases will make a difference to defect prediction performance in CPDP. Method: The problems of identical and inconsistent cases are reported from two aspects, respectively in each individual dataset and in a pair of datasets from different releases of a software project. Then a cleaned version of Jureczko datasets is provided by removing duplicate and inconsistent cases. Finally three training data selection methods are employed to compare the defect prediction performance of cleaned datasets with that of original datasets. Results: The experimental results in terms of AUC and F-Measure show that most datasets obtain very different defect prediction performance. Conclusions: It is very necessary to study the data quality problems in CPDP and the cleaned Jureczko datasets may provide more reliable defect prediction performance in CPDP.

研究の動機と目的

• 広く用いられているJureczkoデータセットにおけるクロスプロジェクト欠陥予測（CPDP）のデータ品質の問題——特に同一および一貫性のないケース——を調査すること。
• 重複および一貫性のないケースを除去することで、CPDPにおける欠陥予測性能が向上するかどうかを評価すること。
• より信頼性の高く再現可能なCPDP研究を支援するため、Jureczkoデータセットのクリーニング済みバージョンを提供すること。
• 標準的なトレーニングデータ選択手法および評価指標を用いて、オリジナルデータセットとクリーニング済みデータセットの性能を比較すること。

提案手法

• 個々のJureczkoデータセット内および、同じソフトウェアプロジェクトの異なるリリース間で、同一および一貫性のないケースを特定した。
• Jureczkoデータセットから重複および一貫性のない欠陥ケースを削除するためのデータクリーニング手法を提案した。
• コードおよび欠陥メタデータの整合性に基づいて、問題のあるケースを排除することで、Jureczkoデータセットのクリーニング済みバージョンを生成した。
• CPDPモデルのソースデータ選択に、3つのトレーニングデータ選択手法（PetersF、BurakF、NearestNeighbor）を適用した。
• 2つの分類器（C4.5およびRandom Forest）と2つの指標（AUCおよびF-Measure）を用いて、モデルの性能を評価した。
• オリジナルデータセットとクリーニング済みデータセットの間で比較実験を実施し、性能差を評価した。

実験結果

リサーチクエスチョン

• RQ1 Jureczkoデータセットにおいて、個々のプロジェクトおよび異なるリリース間で、同一および一貫性のない欠陥ケースはどの程度存在するか？
• RQ2 重複および一貫性のないケースは、クロスプロジェクト欠陥予測モデルの性能にどのように影響するか？
• RQ3 これらの問題のあるケースを除去することで、予測性能に測定可能な改善が見られるか？
• RQ4 複数のデータセットおよび評価指標において、オリジナルデータセットとクリーニング済みデータセットの性能差は統計的に有意であるか？

主な発見

• クリーニング済みJureczkoデータセットは、オリジナルデータセットと比べて著しく異なる欠陥予測性能を示した。これは、データ品質の問題がモデルの信頼性に直接的な影響を及えることを示している。
• 大多数のデータセットにおいて、データクリーニング後のAUCおよびF-Measure値に顕著な変化が見られた。平均的なAUC変化幅は-3.02%〜3.09%の範囲であった。
• F-Measureの変化はAUCの変化よりも顕著で、より多くのデータセットで非ゼロの性能差が観察された。これは、F-Measureがデータ品質に対してより感受性が強いことを示している。
• 本研究では、多くのデータセットで、3つのトレーニングデータ選択手法すべてにおいて非ゼロの性能差が確認された。これは、データ品質の影響が広範にわたることを確認している。
• 結果から、Jureczkoのような公開データセットにおけるデータ品質の問題が、CPDPにおける誤ったまたは一貫性のない研究結果をもたらす可能性があることが明らかになった。
• 研究者たちは、より正確で信頼性の高いクロスプロジェクト欠陥予測結果を得るためには、公開データセットのクリーニングが不可欠であると結論づけた。