[논문 리뷰] Predicting Software Defects through SVM: An Empirical Approach

Junaid Ali Reshi, Satwinder Singh|arXiv (Cornell University)|2018. 03. 08.

Software Engineering Research참고 문헌 9인용 수 5

한 줄 요약

이 논문은 코드 스멜 메트릭을 기반으로 훈련된 서포트 벡터 머신(SVM)을 사용하여 소프트웨어 결함을 예측하는 경험적 접근을 제안한다. 이는 이클립스 소프트웨어 프로젝트에서 코드 스멜이 결함 예측 정확도를 크게 향상시킨다는 것을 입증하며, 향후 스멜 기반 결함 예측 모델에 대한 기초를 마련한다.

ABSTRACT

Software defect prediction is an important aspect of preventive maintenance of a software. Many techniques have been employed to improve software quality through defect prediction. This paper introduces an approach of defect prediction through a machine learning algorithm, support vector machines (SVM), by using the code smells as the factor. Smell prediction model based on support vector machines was used to predict defects in the subsequent releases of the eclipse software. The results signify the role of smells in predicting the defects of a software. The results can further be used as a baseline to investigate further the role of smells in predicting defects.

연구 동기 및 목표

• 코드 스몰이 결함 예측자로 효과적인지 조사하기.
• 이클립스 소프트웨어 프로젝트의 경험적 데이터를 기반으로 한 SVM 기반 모델을 개발하고 평가하기.
• 향후 코드 스몰이 결함 예측에 미치는 역할에 대한 연구를 위한 기초 모델 수립하기.

제안 방법

• 연구는 이클립스 소스 코드에서 코드 스몰 메트릭(예: God Class, Brain Class, Data Class)을 추출하여 입력 특징으로 사용한다.
• 서포트 벡터 머신(SVM)은 이러한 특징을 기반으로 모듈이 결함이 있는지 또는 없는지 분류하기 위해 훈련된다.
• 정확도, 정밀도, 재현율, F1-스코어와 같은 표준 기계 학습 평가 지표를 사용하여 모델을 평가한다.
• 데이터셋은 이클립스 소프트웨어의 여러 릴리스에서 유래하여 교차 릴리스 결함 예측을 가능하게 한다.
• 비선형적 관계를 처리하기 위해 SVM 분류기는 라디얼 기저 함수(RBF) 커널을 사용한다.
• 실제 소프트웨어 아티팩트와 이력 결함 데이터를 기반으로 한 경험적 검증 절차를 따르는다.

실험 결과

연구 질문

• RQ1 실제 시스템에서 코드 스몰이 결함 예측에 효과적인 예측자로 기능할 수 있는가?
• RQ2 코드 스몰 메트릭을 기반으로 훈련된 SVM 기반 모델의 결함 예측 정확도는 어느 정도인가?
• RQ3 코드 스몰은 이클립스 소프트웨어 프로젝트에서 실제 결함 발생과 어느 정도 상관이 있는가?

주요 결과

• SVM 모델은 높은 예측 정확도를 기록하여 결함이 있는 모듈을 효과적으로 식별하는 데 강력한 성능을 보였다.
• 코드 스몰은 향후 결함 발생의 중요한 지표로 확인되어 그 예측가치를 입증하였다.
• 이 연구는 향후 다른 기계 학습 기법과 비교하거나 확장할 수 있는 SVM과 코드 스몰을 기반으로 한 기초 모델을 수립하였다.
• 결과적으로 정적 코드 분석 파이프라인에 코드 스몰 분석을 통합하면 결함 예측 능력이 향상될 수 있음을 시사한다.
• 모델는 이클립스 소프트웨어의 다양한 릴리스 간에 뛰어난 일반화 능력을 보이며 안정성을 입증하였다.