[論文レビュー] The Impact of Feature Selection on Predicting the Number of Bugs

Haidar Osman, Mohammad Ghafari+1 more|arXiv (Cornell University)|Jul 12, 2018

Software Engineering Research参考文献 44被引用数 13

ひとこと要約

本研究では、回帰モデルを用いたJavaソフトウェアシステムのバグ数予測における特徴選択の影響を調査する。5つの機械学習モデルにおいて、相関に基づくフィルタ法（CFS）とラッパー法の特徴選択手法を比較し、ラッパー法が予測精度を最大33%向上させるとともに、特徴数を50%以上削減することを明らかにした。CFSよりも一貫して優れた性能を示し、プロジェクトごとにソースコードメトリクスと変更メトリクスの混合を選択した。

ABSTRACT

Bug prediction is the process of training a machine learning model on software metrics and fault information to predict bugs in software entities. While feature selection is an important step in building a robust prediction model, there is insufficient evidence about its impact on predicting the number of bugs in software systems. We study the impact of both correlation-based feature selection (CFS) filter methods and wrapper feature selection methods on five widely-used prediction models and demonstrate how these models perform with or without feature selection to predict the number of bugs in five different open source Java software systems. Our results show that wrappers outperform the CFS filter; they improve prediction accuracy by up to 33% while eliminating more than half of the features. We also observe that though the same feature selection method chooses different feature subsets in different projects, this subset always contains a mix of source code and change metrics.

研究の動機と目的

• バグ予測における回帰問題としての特徴選択の影響に関する研究の不足に対処すること。
• 多様な機械学習モデルにおけるフィルタ法（CFS）とラッパー法の特徴選択手法の有効性を比較し、予測精度の向上を検証すること。
• 異なるソフトウェアプロジェクト間で特徴サブセットが一貫しているか、あるいはプロジェクトごと・手法ごとに異なるかを調査すること。
• ソースコードメトリクスと変更メトリクスを組み合わせることで、より優れた予測性能が得られるかを検討すること。
• プロジェクト固有の特徴選択の必要性を強調し、実際のバグ数が記録されたより多くの公開データセットの整備を提言すること。

提案手法

• Eclipse JDT Core、Eclipse PDE UI、Equinox、Lucene、Mylynの5つのオープンソースJavaプロジェクトに対して、K-近傍法、線形回帰、マルチレイヤーパーセプトロン、ランダムフォレスト、サポートベクターマシンの5つの機械学習モデルを実験的に評価する。
• フィルタ法として相関に基づく特徴選択（CFS）と、モデル固有の精度をフィットネス関数とするラッパー法を適用する。
• 10分割交差検証を用いて、全モデル・全プロジェクトにおいて特徴選択有無の予測精度（RMSE）を評価する。
• 特徴数の削減、モデルの複雑さ、およびプロジェクト間・手法間での選択された特徴の一貫性を測定する。
• 選択された特徴サブセットの構成を分析し、ソースコードメトリクスと変更メトリクスの割合を特定する。
• 性能差の統計的有意性を検証するための仮説検定を実施する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 特徴選択は、バグ数を予測するための機械学習モデルの予測精度にどのように影響するか？
• RQ2 RQ2: ラッパー法の特徴選択手法は、フィルタ法よりも予測精度の向上に優れているか？
• RQ3 RQ3: 異なる特徴選択手法は、プロジェクトごとに異なる特徴サブセットを選択するか？
• RQ4 RQ4: 複数のプロジェクトに共通する一貫した特徴セットが存在するか、それとも特徴選択はプロジェクト固有であるか？

主な発見

• ラッパー法の特徴選択は、76%の実験で予測精度を最大33%向上させ、性能を低下させたことは一度もなかった。一方、CFSは32%の実験でのみ精度を向上させ、24%の実験で性能を低下させた。
• ラッパー法は特徴数を最大87%まで削減し、モデルの単純化を著しく図りながらも、性能を維持または向上させた。
• ランダムフォレストモデルは特徴選択に対してほとんど感受性を示さず、冗長または相関の高い特徴に対しても頑健であることが示された。
• 手法やプロジェクトの違いに関わらず、選択されたすべての特徴サブセットにソースコードメトリクスと変更メトリクスの混合が含まれており、両者の組み合わせによる重要性が裏付けられた。
• プロジェクト間で一貫した特徴サブセットは存在しなかったため、新しいプロジェクトに対しては個別に特徴選択を実施する必要があることが確認された。
• 本研究は、バグ予測を回帰問題として扱う場合、特徴選択が不可欠であり、この文脈ではラッパー法がフィルタ法を上回ることを確認した。