[論文レビュー] How Far Does the Predictive Decision Impact the Software Project? The Cost, Service Time, and Failure Analysis from a Cross-Project Defect Prediction Model

Umamaheswara Sharma B, Ravichandra Sadam|arXiv (Cornell University)|Sep 28, 2022

Software Reliability and Analysis Research被引用数 8

ひとこと要約

本論文は、PROMISE、NASA、AEEEMデータセットにおいて、F-measureおよびAUCを顕著に向上させる、確率的加重多数決投票（PWMV）を組み込んだハイブリッド・インダクター集合学習（HIEL）フレームワークを提案する。モデルは、プロジェクト固有の指標であるPPC（コスト削減）、PNPC（残り作業）、FOR（障害リスク）を導入することで、プロジェクトのコスト、サービス時間、障害率を低減する。

ABSTRACT

Context: Cross-project defect prediction (CPDP) models are being developed to optimize the testing resources. Objectives: Proposing an ensemble classification framework for CPDP as many existing models are lacking with better performances and analysing the main objectives of CPDP from the outcomes of the proposed classification framework. Method: For the classification task, we propose a bootstrap aggregation based hybrid-inducer ensemble learning (HIEL) technique that uses probabilistic weighted majority voting (PWMV) strategy. To know the impact of HIEL on the software project, we propose three project-specific performance measures such as percent of perfect cleans (PPC), percent of non-perfect cleans (PNPC), and false omission rate (FOR) from the predictions to calculate the amount of saved cost, remaining service time, and percent of the failures in the target project. Results: On many target projects from PROMISE, NASA, and AEEEM repositories, the proposed model outperformed recent works such as TDS, TCA+, HYDRA, TPTL, and CODEP in terms of F-measure. In terms of AUC, the TCA+ and HYDRA models stand as strong competitors to the HIEL model. Conclusion: For better predictions, we recommend ensemble learning approaches for the CPDP models. And, to estimate the benefits from the CPDP models, we recommend the above project-specific performance measures.

研究の動機と目的

• 異なるプロジェクト間での性能と一般化性能に課題を抱える既存のCPDPモデルの限界を解消すること。
• ベースラーナーの多様性を活かした予測精度を向上させるアンサンブルベースの分類フレームワークを構築すること。
• モデルの予測と実世界のプロジェクト成果（コスト削減や残存作業）を結びつける、アプリケーション固有のパフォーマンス指標（PPC、PNPC、FOR）を導入すること。
• TCA+、HYDRA、TDS、TPTL、CODEPといった最近のCPDP手法と比較して、HIELモデルの実証的妥当性を検証すること。
• CPDPモデルのソフトウェアプロジェクト管理への実用的影響を、コスト、時間、障害の観点から定量的に示すこと。

提案手法

• HIELフレームワークは、6種類の多様なインダクター（ロジスティック回帰、SVM、決定木、ナイーブベイズ、k-NN、ニューラルネットワーク）を用いて、ブートストラップアンサンブルにより60個の分類器を生成する。
• 各インダクターは、ソースプロジェクトからの拡張済み欠陥データのランダムサブセットを学習させることで、アンサンブル内の多様性を確保する。
• 確率的加重多数決投票（PWMV）コンビナトリは、各分類器の予測精度に応じて動的に重みを割り当て、誤りに対するペナルティと正解予測の強化にパラメータβを用いて重みを更新する。
• PWMV機構により、アンサンブル内で最もパフォーマンスの良いエキスパートが行う誤りの数にタイトな上界が保証される。
• モジュールサイズ（コード行数）と混同行列データを統合することで、プロジェクト固有のパフォーマンス指標（PPC、PNPC、FOR）を導出する。
• 標準指標（F-measure、AUC）と提案された成果指標を用いて、PROMISE、NASA、AEEEMリポジトリ上で実証的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 HIELアンサンブルモデルは、TCA+、HYDRA、TDS、TPTL、CODEPといった最近のCPDP手法と比較して、F-measureおよびAUCの観点でどの程度優れた性能を示すか？
• RQ2 PPC、PNPC、FORといった新規指標を用いることで、HIELモデルはプロジェクトコスト、残りサービス時間、障害率をどの程度低減できるか？
• RQ3 アンサンブルフレームワーク内で多様なベース分類器を用いることで、クロスプロジェクト環境下でもより良い一般化性能と欠陥予測精度が得られるか？
• RQ4 PWMV戦略は、分類器の性能の変動に適応でき、最終予測意思決定における誤りを効果的に低減できるか？
• RQ5 PPC、PNPC、FORといったプロジェクト固有の指標は、従来のML評価指標を超えて、プロジェクトマネージャーにどのような実用的インサイトを提供できるか？

主な発見

• HIELモデルは、PROMISE、NASA、AEEEMリポジトリの複数のターゲットプロジェクトにおいて、TDS、TCA+、HYDRA、TPTL、CODEPと比較して優れたF-measure性能を達成した。
• AUCの観点では、評価において最も強力なベンチマークであったTCA+およびHYDRAと同等の性能を示した。
• 提案されたプロジェクト固有の指標（PPC：完全クリーンの割合、PNPC：非完全クリーンの割合、FOR：誤り除外率）は、コスト削減、残存作業、障害リスクに関する実用的インサイトを提供した。
• PPCは、欠陥のないモジュールを早期に特定することで、プロジェクト予算の顕著な削減が可能であることを示した。
• PNPCは、残りのテスト作業量を明らかにし、テストチームの負荷が効果的に低減されていることを示した。
• FOR値は、リリースされたソフトウェアに見逃された欠陥のリスクを最小限に抑えることができることを示し、低いFORは障害回避の信頼性が高いことを示している。