[论文解读] Bug Classification: Feature Extraction and Comparison of Event Model using Naïve Bayes Approach

Sunil Joy Dommati, Ruchi Agrawal+2 more|arXiv (Cornell University)|Apr 5, 2013

Network Security and Intrusion Detection参考文献 4被引用 12

一句话总结

本文提出了一种基于朴素贝叶斯的方法，通过在挖掘的错误数据库中对崩溃日志进行特征提取和事件模型比较（伯努利分布与多项式分布），实现自动化错误分类。该方法在不同模型上评估了准确率和召回率，结果表明多项式朴素贝叶斯模型在分类网络错误方面优于伯努利模型。

ABSTRACT

In software industries, individuals at different levels from customer to an engineer apply diverse mechanisms to detect to which class a particular bug should be allocated. Sometimes while a simple search in Internet might help, in many other cases a lot of effort is spent in analyzing the bug report to classify the bug. So there is a great need of a structured mining algorithm - where given a crash log, the existing bug database could be mined to find out the class to which the bug should be allocated. This would involve Mining patterns and applying different classification algorithms. This paper focuses on the feature extraction, noise reduction in data and classification of network bugs using probabilistic Naïve Bayes approach. Different event models like Bernoulli and Multinomial are applied on the extracted features. When new, unseen bugs are given as input to the algorithms, the performance comparison of different algorithms is done on the basis of accuracy and recall parameters.

研究动机与目标

• 解决软件开发中手动且耗时的错误分类挑战。
• 通过数据挖掘和机器学习自动化分类，减少分析错误报告的工作量。
• 比较不同事件模型（伯努利与多项式）在分类网络相关错误方面的有效性。
• 通过崩溃日志中的特征提取和噪声减少，提高分类准确率和召回率。
• 提供一种结构化且可扩展的算法，用于将新错误映射到错误数据库中的现有类别。

提出的方法

• 使用文本挖掘技术从崩溃日志和错误报告中提取特征。
• 在分类前应用噪声减少技术以提高数据质量。
• 使用两种概率事件模型（伯努利朴素贝叶斯与多项式朴素贝叶斯）对错误分类任务进行建模。
• 在历史错误数据库上训练分类器，以学习各类别的分布。
• 使用条件概率估计，将新的、未见过的错误分配给最可能的类别。
• 使用标准指标（测试实例的准确率和召回率）评估性能。

实验结果

研究问题

• RQ1 基于提取特征的朴素贝叶斯方法在分类网络错误方面效果如何？
• RQ2 在错误分类中，伯努利模型与多项式模型哪一个能获得更高的准确率和召回率？
• RQ3 特征提取和噪声减少在多大程度上提升了分类性能？
• RQ4 所提出的方法能否减少错误分类和排查中的手动工作量？
• RQ5 分类器在新出现的、未见过的错误报告上泛化能力如何？

主要发现

• 在分类网络错误方面，多项式朴素贝叶斯模型相比伯努利模型获得了更高的准确率和召回率。
• 特征提取和噪声减少显著提升了用于分类的输入数据质量。
• 所提出的方法能有效将新错误报告映射到错误数据库中的现有类别，并实现了可测量的性能提升。
• 本研究证明，朴素贝叶斯等概率模型在软件工程中的自动化错误分类中具有可行性。
• 结果表明，多项式朴素贝叶斯更适合于涉及崩溃日志中词频的基于文本的错误分类任务。