[論文レビュー] TDSelector: A Training Data Selection Method for Cross-Project Defect Prediction

Peng He, Yutao Ma+1 more|arXiv (Cornell University)|Dec 29, 2016

Software Engineering Research参考文献 37被引用数 10

ひとこと要約

TDSelectorは、インスタンス同士の類似性と欠陥密度（1インスタンスあたりの欠陥数）を組み合わせることで、クロスプロジェクト欠陥予測のための訓練データ選択法として新規に提案されたものであり、性能を向上させる。14のプロジェクトで評価された結果、ベースライン手法と比較してAUCが最大10.6%向上した。これは、欠陥数の多いインスタンスを選択することで、予測器の正確性がさらに向上することを示している。

ABSTRACT

In recent years, cross-project defect prediction (CPDP) attracted much attention and has been validated as a feasible way to address the problem of local data sparsity in newly created or inactive software projects. Unfortunately, the performance of CPDP is usually poor, and low quality training data selection has been regarded as a major obstacle to achieving better prediction results. To the best of our knowledge, most of existing approaches related to this topic are only based on instance similarity. Therefore, the objective of this work is to propose an improved training data selection method for CPDP that considers both similarity and the number of defects each training instance has (denoted by defects), which is referred to as TDSelector, and to demonstrate the effectiveness of the proposed method. Our experiments were conducted on 14 projects (including 15 data sets) collected from two public repositories. The results indicate that, in a specific CPDP scenario, the TDSelector-based bug predictor performs, on average, better than those based on the baseline methods, and the AUC (area under ROC curve) values are increased by up to 10.6 and 4.3%, respectively. Besides, an additional experiment shows that selecting those instances with more bugs directly as training data can further improve the performance of the bug predictor trained by our method.

研究の動機と目的

• 低品質な訓練データ選択によるクロスプロジェクト欠陥予測（CPDP）の性能不良を是正すること。
• 従来の手法が訓練データ選択に類似性のみに依存するという限界を克服すること。
• 類似性と1インスタンスあたりの欠陥数の両方を組み合わせた新しい手法を提案し、訓練データの質を向上させること。
• 提案手法の有効性を実証的に検証し、欠陥予測性能の向上を図ること。
• 欠陥数の多いインスタンスを優先することで、予測精度がさらに向上するかを検討すること。

提案手法

• TDSelectorは、インスタンス間のコサイン類似性とその欠陥密度（1インスタンスあたりの欠陥数）を組み合わせて訓練インスタンスを選択する。
• 類似性と欠陥数の両方をバランスさせる合成スコアを計算し、最も情報量の多い訓練インスタンスを順位付け・選択する。
• 類似性と欠陥数の重み付き組み合わせを用い、高い値を示すインスタンスが訓練データに適していると判断する。
• 標準的な機械学習分類器を、選択されたデータで訓練することでアプローチを評価する。
• アブレーションスタディとして、高欠陥インスタンスのみを選択する場合の影響を、TDSelectorの完全な手法と比較する。
• 本手法は、2つの公開リポジトリから得た14のプロジェクトに適用され、15のデータセットを用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 インスタンスの類似性と欠陥密度を組み合わせることで、クロスプロジェクト欠陥予測における訓練データ選択が向上するか？
• RQ2 類似性のみを用いるベースライン手法と比較して、TDSelectorのAUC性能はどの程度優れているか？
• RQ3 欠陥数の多いインスタンスを訓練データとして選択することで、さらなる性能向上が達成されるか？
• RQ4 TDSelectorの改善効果は、多様なソフトウェアプロジェクトにわたり一貫しているか？
• RQ5 最終的な選択決定において、欠陥密度と類似性のどちらがより大きな寄与をしているか？

主な発見

• TDSelectorを用いたバグ予測器は、ベースライン手法よりも高いAUC値を達成し、特定のCPDPシナリオでは最大10.6%の向上を示した。
• 評価されたデータセット全体で平均して、AUCはベースライン手法と比較して4.3%向上した。
• TDSelectorと併用して、欠陥数の多いインスタンスのみを訓練データとして選択することで、予測器の性能がさらに向上した。
• 複数のプロジェクトにわたり一貫した性能向上が確認され、プロジェクト固有の変動に対して頑健であることが示された。
• 欠陥密度の統合は、訓練データ選択を著しく改善し、類似性のみのアプローチを上回った。
• 結果から、欠陥密度は、効果的なクロスプロジェクト欠陥予測のための訓練データ選択において、重要な要因であると考えられる。