[論文レビュー] Bug Classification: Feature Extraction and Comparison of Event Model using Naïve Bayes Approach

Sunil Joy Dommati, Ruchi Agrawal+2 more|arXiv (Cornell University)|Apr 5, 2013

Network Security and Intrusion Detection参考文献 4被引用数 12

ひとこと要約

本稿では、クラッシュログにおける特徴抽出およびイベントモデル比較（ベルヌーイおよび多項分布）を用いて、自動バグ分類のためのナイーブベイズベースの手法を提案する。モデル間で正解率と再現率を評価した結果、マルチノミアルナイーブベイズモデルがベルヌーイモデルよりもネットワーク関連バグの分類において優れていることが示された。

ABSTRACT

In software industries, individuals at different levels from customer to an engineer apply diverse mechanisms to detect to which class a particular bug should be allocated. Sometimes while a simple search in Internet might help, in many other cases a lot of effort is spent in analyzing the bug report to classify the bug. So there is a great need of a structured mining algorithm - where given a crash log, the existing bug database could be mined to find out the class to which the bug should be allocated. This would involve Mining patterns and applying different classification algorithms. This paper focuses on the feature extraction, noise reduction in data and classification of network bugs using probabilistic Naïve Bayes approach. Different event models like Bernoulli and Multinomial are applied on the extracted features. When new, unseen bugs are given as input to the algorithms, the performance comparison of different algorithms is done on the basis of accuracy and recall parameters.

研究の動機と目的

• ソフトウェア開発における手作業で時間がかかるバグ分類の課題に対処すること。
• データマイニングおよび機械学習を用いて、バグレポートの分析にかかる作業負荷を軽減し、分類を自動化すること。
• 異なるイベントモデル（ベルヌーイおよび多項分布）の有効性を、ネットワーク関連バグの分類において比較すること。
• クラッシュログにおける特徴抽出およびノイズ低減を用いて、分類の正答率と再現率を向上させること。
• バグデータベース内の既存のクラスに新しいバグをマッピングするための構造的でスケーラブルなアルゴリズムを提供すること。

提案手法

• テキストマイニング技術を用いて、クラッシュログおよびバグレポートから特徴を抽出する。
• 分類の前処理において、データ品質を向上させるためにノイズ低減技術を適用する。
• 2つの確率的イベントモデル（ベルヌーイおよび多項分布）を用いて、バグ分類タスクをモデル化する。
• 履歴バグデータベースを用いて分類器を学習させ、クラスの分布を学習する。
• 条件付き確率推定を用いて、未観測の新しいバグを最も可能性の高いクラスに割り当てる。
• テストインスタンスにおける標準指標（正解率および再現率）を用いて、性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 抽出された特徴を用いた場合、ナイーブベイズアプローチはネットワークバグの分類においてどの程度有効であるか？
• RQ2 ベルヌーイモデルと多項分布モデルのうち、どちらがバグ分類においてより高い正解率と再現率を達成するか？
• RQ3 特徴抽出およびノイズ低減は、分類性能をどの程度向上させるか？
• RQ4 提案手法は、バグトライアージの手作業負荷を軽減できるか？
• RQ5 分類器は、新しい未観測のバグレポートに対してどの程度一般化できるか？

主な発見

• マルチノミアルナイーブベイズモデルは、ネットワークバグの分類においてベルヌーイモデルよりも高い正解率と再現率を達成した。
• 特徴抽出およびノイズ低減は、分類のための入力データの品質を顕著に向上させた。
• 提案手法は、バグデータベース内の既存のクラスに新しいバグレポートを効果的にマッピングでき、測定可能な性能向上を達成した。
• 本研究では、ナイーブベイズのような確率的モデルがソフトウェア工学における自動バグ分類に実用的であることが示された。
• 結果から、マルチノミアルナイーブベイズは、クラッシュログにおける語の頻度を含むテキストベースのバグ分類タスクに適していることが示唆された。