[論文レビュー] Benchmarking cross-project defect prediction approaches with costs metrics

Steffen Herbold|arXiv (Cornell University)|Jan 12, 2018

Software Engineering Research参考文献 64被引用数 3

ひとこと要約

この論文は、コスト感受性の高い指標を用いて26のクロスプロジェクト欠陥予測（CPDP）手法をベンチマーク化し、実際のコスト効率において、すべてのコードを欠陥ありとみなす単純なベースラインが、大多数のCPDP手法を上回ることを明らかにした。研究では、従来のパフォーマンス指標とコスト指標に基づく順位付けの間に相関がないことが示され、標準的な指標で優れた成績を収めても、現実のコスト削減にはつながらないことが明らかになった。

ABSTRACT

Defect prediction can be a powerful tool to guide the use of quality assurance resources. In recent years, many researchers focused on the problem of Cross-Project Defect Prediction (CPDP), i.e., the creation of prediction models based on training data from other projects. However, only few of the published papers evaluate the cost efficiency of predictions, i.e., if they save costs if they are used to guide quality assurance efforts. Within this paper, we provide a benchmark of 26 CPDP approaches based on cost metrics. Our benchmark shows that trivially assuming everything as defective is on average better than CPDP under cost considerations. Moreover, we show that our ranking of approaches using cost metrics is uncorrelated to a ranking based on metrics that do not directly consider costs. These findings show that we must put more effort into evaluating the actual benefits of CPDP, as the current state of the art of CPDP can actually be beaten by a trivial approach in cost-oriented evaluations.

研究の動機と目的

• 実世界のコスト指標を用いて26のCPDPアプローチのコスト効率を評価し、機械学習のパフォーマンス指標に依存する既存のベンチマークにおけるギャップを埋める。
• 特にリリース後の欠陥修正がリリース前のレビューの15–50倍も高価であることを踏まえ、CPDPモデルが実際のコストを実際に削減しているかどうかを特定する。
• CPDPアプローチのコスト指標に基づく順位付けと、AUC や F-measure などの従来の指標に基づく順位付けの整合性を比較し、評価パラダイム間の一貫性を評価する。
• コスト感受性評価において、すべてのコードを欠陥ありと予測する単純なベースラインを著しく上回るCPDPアプローチが存在するかどうかを特定する。
• 欠陥予測研究における小さなサンプルサイズの脅威を浮き彫りにし、一般化可能性を高めるために大規模なベンチマークの必要性を提言する。

提案手法

• 2008–2016年の26のCPDPアプローチを、Herbold ら (2017a) が使用した同一のデータセットを用いて再現し、メソドロジーの一貫性を確保した。
• 実際のコスト比（例：リリース後の欠陥は15–50倍高価）に基づき、合計コスト、偽陰性のコスト、偽陽性のコストの3つのコスト指標を適用した。
• ウィルコクソン符号順位検定などの統計的有意性検定を用い、各CPDPアプローチを単純なベースラインおよび互いに比較した。
• JURECZKO および PROMISE データセットの67のソフトウェアプロジェクトを対象とし、コミット履歴およびイシュートラッキングシステムから得た欠陥ラベルを用いて評価した。
• 実装の正しさと構成妥当性を確認するため、先行ベンチマークとの整合性チェックを実施した。
• ノイズやラベル誤りの影響を軽減し、コストベースの比較の信頼性を高めるために、複数のデータセットを用いた。

実験結果

リサーチクエスチョン

• RQ1 コスト指標を用いて評価した場合、クロスプロジェクト欠陥予測（CPDP）は、すべてのコードを欠陥ありとみなす単純なベースラインを上回るか？
• RQ2 コスト指標に基づくCPDPアプローチの順位付けは、AUC や F-measure などの従来の機械学習指標に基づく順位付けとどのように異なるか？
• RQ3 どのCPDPアプローチが、複数のコスト指標において、単純なベースラインを統計的に有意に上回るコスト上の利点を達成しているか？
• RQ4 標準的な評価指標で優れた成績を収めても、現実のコスト削減に寄与しない既存のCPDP手法はどの程度存在するか？
• RQ5 サンプルサイズがCPDPベンチマーク結果の一般化可能性に与える影響はどの程度で、今後の研究にどのような影響を及えるか？

主な発見

• すべてのコードを欠陥ありとみなす単純なベースラインが、コスト指標において大多数のCPDPアプローチを上回っていることから、現在のCPDPモデルはコストを削減していないことが示された。
• CPDPアプローチのうち、唯一のもの（Liu ら, 2010）が、2つのデータセットのうち1つで、3つのコスト指標のうち1つについて、単純なベースラインを統計的に有意に上回った。
• 従来の指標（例：AUC、F-measure）に基づく順位付けと、コスト指標に基づく順位付けとの間に統計的有意な相関がないことから、標準的な指標はコスト効率の予測に不適切であることが示された。
• CPDPで最も成績の良かった2つのアプローチ（Liu ら, 2010 および Canfora ら, 2013, 2015）は、唯一、モデル学習時にコストを明示的に最適化している。
• ベンチマーク結果から、コストを直接最適化することが不可欠であることが示唆され、予測精度のみを最適化するモデルは、実際のコスト削減に寄与しないことがわかった。
• 67プロジェクトという小さなサンプルサイズは外部妥当性の大きな脅威であり、一般化可能性に制限を及げ、欠陥予測研究における再現性の危機の可能性を喚起した。