[論文レビュー] Evaluating software defect prediction performance: an updated benchmarking study

Libo Li, Stefan Lessmann+1 more|arXiv (Cornell University)|Jan 7, 2019

Software Engineering Research被引用数 4

ひとこと要約

本論文は、より良い評価指標、テスト手順（頻度主義的 vs. ベイジアン）、多様なデータセットとモデルを統合した、アップデートされたベンチマークフレームワークを提案することで、ソフトウェア欠陥予測を再考する。予測精度は一般的に高いが、評価手法に極めて敏感であり、分類器のパフォーマンスはプロジェクト間で顕著に異なることが判明し、バイアスを低減するための多次元的評価の必要性が強調される。

ABSTRACT

Accurately predicting faulty software units helps practitioners target faulty units and prioritize their efforts to maintain software quality. Prior studies use machine-learning models to detect faulty software code. We revisit past studies and point out potential improvements. Our new study proposes a revised benchmarking configuration. The configuration considers many new dimensions, such as class distribution sampling, evaluation metrics, and testing procedures. The new study also includes new datasets and models. Our findings suggest that predictive accuracy is generally good. However, predictive power is heavily influenced by the evaluation metrics and testing procedure (frequentist or Bayesian approach). The classifier results depend on the software project. While it is difficult to choose the best classifier, researchers should consider different dimensions to overcome potential bias.

研究の動機と目的

• 評価手法における方法論的欠陥を特定することで、先行研究におけるソフトウェア欠陥予測の限界を是正すること。
• クラス分布のサンプリング、多様な評価指標、強固なテスト手順（頻度主義的およびベイジアン）を統合した、見直されたベンチマーク設定を提案すること。
• 最新のデータセットを新たに含めることで、現代の機械学習モデルのパフォーマンスを評価し、最新かつ信頼性のあるベンチマークを確保すること。
• 異なるソフトウェアプロジェクトや設定における多次元的評価を強調することで、モデル選択におけるバイアスを低減すること。
• 研究者が公平で再現可能である欠陥予測モデルの評価を実施できる、標準化され包括的なフレームワークを提供すること。

提案手法

• 本研究は、現実の不均衡なデータを反映するための体系的なクラス分布サンプリングを含む、見直されたベンチマーク設定を導入する。
• AUC、F1スコア、G-meanなどの多様な評価指標を用いて、正確さ以外の観点からモデルパフォーマンスを評価する。
• モデル比較の統計的有意性と頑健性を評価するために、頻度主義的およびベイジアンの両方のテスト手順を適用する。
• 公開リポジトリからの新規データセットを統合し、ベンチマークの関連性と多様性を確保する。
• 複数の機械学習モデルを同じ標準化された設定で評価することで、公平な比較を実現する。
• すべてのハイパーパramータ、データ分割、評価プロトコルを文書化することで、再現性を強調する。

実験結果

リサーチクエスチョン

• RQ1 異なる評価指標は、欠陥予測モデルのパフォーマンス認識にどのように影響するか？
• RQ2 頻度主義的テスト手順とベイジアンテスト手順の使用が、モデル比較の結果に与える影響は何か？
• RQ3 同じベンチマーク設定下で、異なるソフトウェアプロジェクトにおけるモデルパフォーマンスはどのように変動するか？
• RQ4 クラス分布のサンプリング戦略は、モデルの信頼性と一般化性能にどの程度影響を与えるか？
• RQ5 どの評価指標とテスト手順の組み合わせが、欠陥予測モデルの最も頑健で偏りのない評価を提供するか？

主な発見

• ソフトウェア欠陥予測における予測正確さは一般的に高いが、評価指標の選択に大きく依存して変動する。
• ベイジアンテスト手順は、特に小標本状況において、頻度主義的手法に比べてモデルパフォーマンスのより洗練された差異を明らかにする。
• 分類器のパフォーマンスはプロジェクトに強く依存しており、すべての文脈で最良のモデルを特定するのは困難である。
• G-mean や F1 スコアなどのバランスの取れた評価指標は、不均衡データセットにおいて正確さだけに依存するよりも、より信頼できる洞察を提供する。
• ベンチマークフレームワークは、評価およびテストにおける方法論的選択が、モデル評価に顕著なバイアスをもたらす可能性があることを示している。
• 本研究は、すべてのプロジェクトや評価基準において一貫して他を上回るモデルが存在しないことを確認しており、文脈に応じたモデル選択の重要性を強調している。