[論文レビュー] Benchmarking Machine Learning Technologies for Software Defect Detection

Saiqa Aleem, Luiz Fernando Capretz+1 more|arXiv (Cornell University)|Jun 24, 2015

Software Engineering Research参考文献 34被引用数 8

ひとこと要約

本論文は、公開済みのデータセットを用いて、ソフトウェア欠陥予測のための複数の機械学習手法をベンチマークし、ソフトウェアモジュールが欠陥ありまたは欠陥なしとして分類する性能を評価している。結果として、ほとんどの機械学習手法が優れた性能を示しており、特にランダムフォレストとナイーブベイズが標準的な欠陥予測ベンチマークで高い正確性とF値を示した。

ABSTRACT

Machine Learning approaches are good in solving problems that have less information. In most cases, the software domain problems characterize as a process of learning that depend on the various circumstances and changes accordingly. A predictive model is constructed by using machine learning approaches and classified them into defective and non-defective modules. Machine learning techniques help developers to retrieve useful information after the classification and enable them to analyse data from different perspectives. Machine learning techniques are proven to be useful in terms of software bug prediction. This study used public available data sets of software modules and provides comparative performance analysis of different machine learning techniques for software bug prediction. Results showed most of the machine learning methods performed well on software bug datasets.

研究の動機と目的

• さまざまな機械学習手法のソフトウェア欠陥予測における性能を評価・比較すること。
• 実世界のソフトウェアデータセットを用いた欠陥予測において、最も効果的な機械学習アルゴリズムを特定すること。
• 将来的な研究およびソフトウェア品質保証分野における産業応用を支援するため、機械学習アプローチの包括的ベンチマークを提供すること。

提案手法

• 研究では、PROMISEリポジトリから入手可能な公開済みのソフトウェア欠陥データセットを用いて、複数の機械学習モデルの学習とテストを実施している。
• ナイーブベイズ、決定木、ランダムフォレスト、サポートベクターマシン、K近傍法といった標準的な分類アルゴリズムを適用している。
• 正確性、適合率、再現率、F値といった標準的な指標を用いて性能を評価している。
• モデルの訓練とテストには10分割交差検証を適用しており、妥当性を確保するとともに過学習を低減している。
• ソフトウェアモジュールの属性として、コードの複雑さやサイズ指標などを抽出するための特徴選択を実施している。
• 比較分析では、異なるデータセットにおいても信頼性が高く一貫性のある性能を示す手法を特定することに焦点を当てている。

実験結果

リサーチクエスチョン

• RQ1 複数のデータセットにわたって、どの機械学習アルゴリズムが最も高い正確性を達成するか？
• RQ2 欠陥予測において、異なるアルゴリズムは適合率、再現率、F値の観点でどのように比較されるか？
• RQ3 各機械学習手法が、さまざまなソフトウェア欠陥データセットにおいて一貫した性能を示すか？
• RQ4 特定のアルゴリズムが、多様なソフトウェアシステムやプロジェクト特性にわたって他を上回る性能を示すか？
• RQ5 特徴工学とデータセットの特性は、機械学習モデルの予測性能にどのように影響を与えるか？

主な発見

• ランダムフォレストは複数のデータセットにおいて一貫して最高のF値を達成しており、適合率と再現率のバランスが優れていることが示された。
• ナイーブベイズは高い正確性を示し、特に小さなデータセットでは上位のパフォーマンスを発揮した。
• サポートベクターマシンは優れた性能を示したが、データセットのサイズや特徴量のスケーリングに敏感であった。
• 決定木は、複雑なデータセットにおいて過学習を起こしやすく、全体的な性能が低かった。
• K近傍法は中程度の結果を示したが、計算コストが高く、スケーラビリティに劣った。
• 本研究では、機械学習手法がソフトウェア欠陥予測に有効であることが確認され、モデル選択が結果の品質に顕著に影響することを示した。