[論文レビュー] Software Defect Prediction Using Support Vector Machine

Haneen Abu Alhija, Mohammad Azzeh+1 more|arXiv (Cornell University)|Sep 10, 2022

Software Engineering Research被引用数 9

ひとこと要約

本研究では、PROMISEプロジェクトの公開データセットを用いて、サポートベクターマシン（SVM）に6種類の異なるカーネル関数を適用したソフトウェア欠陥予測のパフォーマンスを評価している。結果として、どのデータセットに対しても一貫して優れた性能を示すカーネルは存在せず、PCAを用いた特徴量削減による精度向上は限定的であることが判明し、設定の変化に伴いSVMの安定性が乏しいことが示された。

ABSTRACT

Software defect prediction is an essential task during the software development Lifecycle as it can help managers to identify the most defect-proneness modules. Thus, it can reduce the test cost and assign testing resources efficiently. Many classification methods can be used to determine if the software is defective or not. Support Vector Machine (SVM) has not been used extensively for such problems because of its instability when applied on different datasets and parameter settings. The main parameter that influences the accuracy is the choice of the kernel function. The use of kernel functions has not been studied thoroughly in previous papers. Therefore, this research examines the performance and accuracy of SVM with six different kernel functions. Various public datasets from the PROMISE project empirically validate our hypothesis. The results demonstrate that no kernel function can give stable performance across different experimental settings. In addition, the use of PCA as a feature reduction algorithm shows slight accuracy improvement over some datasets.

研究の動機と目的

• SVMに多様なカーネル関数を適用した場合のソフトウェア欠陥予測の有効性を評価すること。
• 異なるソフトウェアデータセットにおいて、カーネル選択がSVMのパフォーマンスに与える影響を調査すること。
• PCAを特徴量削減手法として用いることで、SVMを用いた欠陥予測精度がどの程度向上するかを評価すること。
• ソフトウェア欠陥予測タスクにおけるSVMの安定的かつ信頼性のある設定を同定すること。

提案手法

• 本研究では、線形、多項式、径路基底関数（RBF）、シグモイド、薄板スプライン、マルチクワドリックの6種類のカーネル関数をSVMフレームワーク内で使用した。
• 実証的評価には、ソフトウェア工学リポジトリPROMISEから提供されている公開データセットを用いた。
• 特徴量選択および次元削減として主成分分析（PCA）を適用し、モデルの精度に与える影響を評価した。
• パフォーマンスは、正解率、F1スコア、AUC-ROCといった標準的な分類指標を用いて測定した。
• 各カーネル設定の汎化性能および安定性を評価するために、複数のデータセットで実験を実施した。
• 性能差の有意性を比較するために統計的検定を用いた。

実験結果

リサーチクエスチョン

• RQ1 SVMを用いた場合、多様なソフトウェアデータセットにおいてどのカーネル関数が最も高い欠陥予測精度を達成するか？
• RQ2 カーネル関数の選択が、異なるデータセット間でSVMのパフォーマンスの安定性および一貫性にどのように影響するか？
• RQ3 PCAを特徴量削減手法として適用することで、SVMを用いた欠陥予測精度はどの程度向上するか？
• RQ4 特定のデータセットの特徴が、特定のカーネルがより効果的である理由を示唆するか？

主な発見

• どのカーネル関数も、すべてのデータセットで一貫して最高のパフォーマンスを発揮するとは限らず、データセットやパrameter設定に応じてSVMのパフォーマンスが不安定であることが示された。
• RBFカーネルはいくつかのデータセットで優れたパフォーマンスを示したが、すべての実験で優勢ではなかったため、普遍的に最適なカーネルは存在しないことが示唆された。
• PCAを用いた特徴量削減は、一部のデータセットでわずかな精度向上をもたらしたが、すべてのケースで顕著な向上は得られず、一貫性に欠けた結果となった。
• カーネル間でのパフォーマンス差は顕著で、F1スコアやAUC-ROC値の差異から、カーネル選択に敏感であることが明らかになった。
• 本研究では、SVMのソフトウェア欠陥予測におけるパフォーマンスが、カーネル選択とデータセット固有の特性の両方に強く依存することを確認した。
• 結果から、カーネル選択はデータセットに応じて行うべきであり、デフォルトまたは普遍的に好まれるカーネルに依存すべきではないことが示唆された。