[論文レビュー] Towards Developing and Analysing Metric-Based Software Defect Severity Prediction Model

Umamaheswara Sharma B, Ravichandra Sadam|arXiv (Cornell University)|Oct 10, 2022

Software Engineering Research被引用数 5

ひとこと要約

本論文は、ラベル付きおよびラベルなしデータを活用してソフトウェアモジュールの欠陥深刻度を予測する自己学習半教師あり学習モデルを提案する。この手法は、反復的に信頼度の高い疑似ラベルをラベルなしインスタンスに割り当てることで予測性能を向上させ、システムリスクと残りのサービス時間を低減する。また、プロジェクト固有の新規指標を導入し、プロジェクトレベルでの実用的利点を明確に示している。

ABSTRACT

In a critical software system, the testers have to spend an enormous amount of time and effort to maintain the software due to the continuous occurrence of defects. Among such defects, some severe defects may adversely affect the software. To reduce the time and effort of a tester, many machine learning models have been proposed in the literature, which use the documented defect reports to automatically predict the severity of the defective software modules. In contrast to the traditional approaches, in this work we propose a metric-based software defect severity prediction (SDSP) model that uses a self-training semi-supervised learning approach to classify the severity of the defective software modules. The approach is constructed on a mixture of unlabelled and labelled defect severity data. The self-training works on the basis of a decision tree classifier to assign the pseudo-class labels to the unlabelled instances. The predictions are promising since the self-training successfully assigns the suitable class labels to the unlabelled instances. On the other hand, numerous research studies have covered proposing prediction approaches as well as the methodological aspects of defect severity prediction models, the gap in estimating project attributes from the prediction model remains unresolved. To bridge the gap, we propose five project specific measures such as the Risk-Factor (RF), the Percent of Saved Budget (PSB), the Loss in the Saved Budget (LSB), the Remaining Service Time (RST) and Gratuitous Service Time (GST) to capture project outcomes from the predictions. Similar to the traditional measures, these measures are also calculated from the observed confusion matrix. These measures are used to analyse the impact that the prediction model has on the software project.

研究の動機と目的

• 欠陥深刻度予測モデルのプロジェクト固有の成果を推定するというギャップを埋めること。
• 自己学習半教師あり学習を用いた指標ベースのソフトウェア欠陥深刻度予測（SDSP）モデルの開発。
• ADASYNオーバーサンプリングを用いて、不均衡な欠陥深刻度データにおける予測性能の向上。
• 予測の実世界への影響を評価するための5つの新規プロジェクト固有の評価指標（RF, PSB, LSB, RST, GST）の導入。
• AEEEMリポジトリの実世界のソフトウェアシステムを用いて、モデルの実証的検証。

提案手法

• モデルは、決定木をベース分類器として用いる自己学習半教師あり学習フレームワークを採用する。
• ラベルなしインスタンスに対して、モデルの信頼度に基づいて疑似ラベルが割り当てられ、高い信頼度の予測を抽出するために閾値（Γ = 0.99）が使用される。
• 欠陥深刻度カテゴリのクラス不均衡に対処するため、ラベル付きデータセットはADASYNオーバーサンプリングによってバランス調整される。
• 反復処理では、ラベル付きデータと疑似ラベル付きデータを組み合わせ、各イテレーションで分類器を再訓練する。
• 従来の指標（正解率、F-measure）に加え、混同行列から導出された新規プロジェクト固有の指標を用いて性能を評価する。
• AEEEMリポジトリの4つのオープンソースソフトウェアシステムを用い、527個のラベルなしインスタンスを対象に評価が実施された。

実験結果

リサーチクエスチョン

• RQ1 自己学習半教師あり学習モデルは、ラベル付きおよびラベルなしデータの混合を用いて、ソフトウェア欠陥深刻度を効果的に分類できるか？
• RQ2 本手法は、不均衡な欠陥深刻度データにおいて、従来の教師ありアプローチと比較して予測性能に優れているか？
• RQ3 提案されたプロジェクト固有の指標（RF, PSB, LSB, RST, GST）は、欠陥深刻度予測の実世界への影響をどの程度反映しているか？
• RQ4 受容閾値（Γ）の選択が、モデルの性能および一般化能力にどのように影響するか？
• RQ5 本手法は、ソフトウェア保守におけるシステムリスクとサービス時間の低減、予算効率の向上を実現できるか？

主な発見

• 自己学習モデルは、ラベルなしインスタンスに対して適切な疑似ラベルを効果的に割り当て、分類性能を向上させた。
• 平均して、システム障害のリスクと欠陥解消に要する残りのサービス時間が低減された。
• リスク要因（RF）が低下し、誤って否定されたケース（偽陰性）が減ったため、プロジェクトリスクが低くなった。
• 節約された予算の割合（PSB）が増加し、節約された予算の損失（LSB）が減少した。これは、コスト効率の向上を示している。
• 残りのサービス時間（RST）と無駄なサービス時間（GST）が低減され、欠陥解消がより迅速かつ効率的に行われた。
• 本モデルは、4つの評価対象ソフトウェアシステムすべてで一貫した性能向上を示し、特にADASYNオーバーサンプリングによりマイノリティ深刻度クラスの処理が改善された。