[논문 리뷰] Bug Classification: Feature Extraction and Comparison of Event Model using Naïve Bayes Approach

Sunil Joy Dommati, Ruchi Agrawal외 2명|arXiv (Cornell University)|2013. 04. 05.

Network Security and Intrusion Detection참고 문헌 4인용 수 12

한 줄 요약

이 논문은 추출된 특징과 이벤트 모델 비교(Bernoulli 및 Multinomial)를 활용한 크래시 로그를 기반으로 한 자동 버그 분류를 위한 나이브 베이즈 기반 접근법을 제안한다. 다양한 모델 간의 정확도와 재현율을 평가하여, 다수의 버그 데이터베이스에서 네트워크 버그를 분류할 때 Multinomial 나이브 베이즈 모델이 Bernoulli 모델보다 뛰어난 성능을 보임을 입증한다.

ABSTRACT

In software industries, individuals at different levels from customer to an engineer apply diverse mechanisms to detect to which class a particular bug should be allocated. Sometimes while a simple search in Internet might help, in many other cases a lot of effort is spent in analyzing the bug report to classify the bug. So there is a great need of a structured mining algorithm - where given a crash log, the existing bug database could be mined to find out the class to which the bug should be allocated. This would involve Mining patterns and applying different classification algorithms. This paper focuses on the feature extraction, noise reduction in data and classification of network bugs using probabilistic Naïve Bayes approach. Different event models like Bernoulli and Multinomial are applied on the extracted features. When new, unseen bugs are given as input to the algorithms, the performance comparison of different algorithms is done on the basis of accuracy and recall parameters.

연구 동기 및 목표

• 소프트웨어 개발에서 수작업으로 하며 시간이 오래 소요되는 버그 분류 문제를 해결하기 위해.
• 데이터 마이닝 및 머신 러닝을 활용해 버그 보고서 분석에 드는 노력을 줄이기 위해 자동화된 분류를 구현하기 위해.
• 다양한 이벤트 모델(Bernoulli 및 Multinomial)이 네트워크 관련 버그 분류에 얼마나 효과적인지 비교하기 위해.
• 크래시 로그에서의 특징 추출 및 노이즈 감소를 통해 분류 정확도와 재현율을 향상시키기 위해.
• 버그 데이터베이스 내 기존 클래스에 새로운 버그를 맵핑하기 위한 체계적이고 확장 가능한 알고리즘을 제공하기 위해.

제안 방법

• 텍스트 마이닝 기법을 사용해 크래시 로그와 버그 보고서에서 특징을 추출한다.
• 분류 이전에 데이터 품질을 향상시키기 위해 노이즈 감소 기법을 적용한다.
• 두 가지 확률적 이벤트 모델인 Bernoulli 및 Multinomial 나이브 베이즈를 활용해 버그 분류 작업을 모델링한다.
• 과거의 버그 데이터베이스를 기반으로 분류기 학습을 통해 클래스 분포를 학습한다.
• 조건부 확률 추정을 통해 새로운, 미리 보지 않은 버그를 가장 가능성 있는 클래스에 할당한다.
• 시험 인스턴스에 대한 정확도와 재현율과 같은 표준 메트릭을 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 추출된 특징을 사용할 때 나이브 베이즈 접근법이 네트워크 버그 분류에 얼마나 효과적인가?
• RQ2 Bernoulli 또는 Multinomial 중 어떤 이벤트 모델이 버그 분류에서 더 높은 정확도와 재현율을 제공하는가?
• RQ3 특징 추출 및 노이즈 감소가 분류 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 방법은 버그 트리지 및 분류에 드는 수작업을 줄일 수 있는가?
• RQ5 분류기는 새로운, 미리 보지 않은 버그 보고서에 대해 얼마나 잘 일반화되는가?

주요 결과

• 네트워크 버그 분류에서 Multinomial 나이브 베이즈 모델이 Bernoulli 모델보다 더 높은 정확도와 재현율을 달성했다.
• 특징 추출 및 노이즈 감소가 분류를 위한 입력 데이터의 품질을 크게 향상시켰다.
• 제안된 방법은 버그 데이터베이스 내 기존 클래스에 새로운 버그 보고서를 효과적으로 맵핑했으며, 성능 향상이 명확하게 측정되었다.
• 이 연구는 나이브 베이즈와 같은 확률 모델이 소프트웨어 공학 분야에서 자동 버그 분류에 실현 가능하다는 것을 입증한다.
• 결과적으로 Multinomial 나이브 베이즈는 크래시 로그에서 용어의 빈도를 다루는 텍스트 기반 버그 분류 작업에 더 적합하다는 것이 제안된다.