[논문 리뷰] Software Defect Prediction Using Support Vector Machine

Haneen Abu Alhija, Mohammad Azzeh외 1명|arXiv (Cornell University)|2022. 09. 10.

Software Engineering Research인용 수 9

한 줄 요약

이 연구는 PROMISE 프로젝트의 공공 데이터셋을 사용하여 소프트웨어 결함 예측을 위한 서포트 벡터 머신(SVM)의 성능을 여섯 가지 다른 커널 함수를 활용해 평가한다. 결과적으로 어떤 커널 함수도 모든 데이터셋에서 일관되게 뛰어난 성능을 내지 못하며, PCA 기반의 특성 감소는 정확도 향상에 미미한 기여만을 보이며, 다양한 설정에서 결함 예측에 있어 SVM의 불안정성을 드러낸다.

ABSTRACT

Software defect prediction is an essential task during the software development Lifecycle as it can help managers to identify the most defect-proneness modules. Thus, it can reduce the test cost and assign testing resources efficiently. Many classification methods can be used to determine if the software is defective or not. Support Vector Machine (SVM) has not been used extensively for such problems because of its instability when applied on different datasets and parameter settings. The main parameter that influences the accuracy is the choice of the kernel function. The use of kernel functions has not been studied thoroughly in previous papers. Therefore, this research examines the performance and accuracy of SVM with six different kernel functions. Various public datasets from the PROMISE project empirically validate our hypothesis. The results demonstrate that no kernel function can give stable performance across different experimental settings. In addition, the use of PCA as a feature reduction algorithm shows slight accuracy improvement over some datasets.

연구 동기 및 목표

• 서포트 벡터 머신(SVM)에 다양한 커널 함수를 적용한 소프트웨어 결함 예측의 효과성을 평가하는 것.
• 다양한 소프트웨어 데이터셋에서 커널 선택이 SVM 성능에 미치는 영향을 조사하는 것.
• PCA가 SVM 기반 결함 예측 정확도 향상에 기여하는 특성 감소 기법으로서의 역할을 평가하는 것.
• 소프트웨어 결함 예측 작업에서 안정적이고 신뢰할 수 있는 SVM 설정을 규명하는 것.

제안 방법

• 연구는 SVM 프레임워크 내에서 선형, 다항식, 가우시안 라디얼 기저 함수(RBF), 시그모이드, 투명판 스퍼라인, 다중구역 다항식의 여섯 가지 커널 함수를 활용한다.
• 공개된 데이터셋은 PROMISE 소프트웨어 공학 레포지터리에서 확보된다.
• 특성 선택 및 차원 감소를 위해 주성분 분석(PCA)을 적용하여 모델 정확도에 미치는 영향을 평가한다.
• 정확도, F1 점수, AUC-ROC와 같은 표준 분류 지표를 사용해 성능을 측정한다.
• 모델의 일반화 능력과 각 커널 설정의 안정성을 평가하기 위해 다수의 데이터셋에서 실험을 수행한다.
• 성능 차이의 유의미성을 비교하기 위해 통계적 검정을 실시한다.

실험 결과

연구 질문

• RQ1 SVM을 사용할 때 다양한 소프트웨어 데이터셋에서 어떤 커널 함수가 가장 높은 결함 예측 정확도를 달성하는가?
• RQ2 커널 함수의 선택이 다양한 데이터셋에서 SVM 성능의 안정성과 일관성에 어떻게 영향을 미치는가?
• RQ3 특성 감소 기법으로서의 PCA 적용이 SVM 기반 결함 예측 정확도 향상에 어느 정도 기여하는가?
• RQ4 특정 데이터셋 특성은 어떤 커널 함수가 다른 것보다 더 효과적인지에 영향을 미치는가?

주요 결과

• 어느 커널 함수도 모든 데이터셋에서 일관되게 최고의 성능을 내지 못하며, 이는 데이터셋 및 파라미터 설정에 따라 SVM 성능이 불안정함을 시사한다.
• RBF 커널은 여러 데이터셋에서 뛰어난 성능을 보였지만, 모든 실험에서 우세하지는 않았으며, 보편적으로 최적의 커널이 존재하지 않음을 시사한다.
• PCA 기반의 특성 감소는 일부 데이터셋에서 약간의 정확도 향상을 가져왔지만, 모든 경우에 걸쳐 유의미하거나 일관된 개선은 아니었다.
• 다양한 커널 간 성능 변동은 뚜렷했으며, F1 점수와 AUC-ROC 값의 차이가 커널 선택에 민감함을 나타낸다.
• 이 연구는 SVM의 소프트웨어 결함 예측 성능가 커널 선택과 데이터셋 고유의 특성에 매우 의존함을 확인한다.
• 결과적으로 커널 선택은 일반적으로 사용되는 커널이나 기본 설정에 의존하기보다는 데이터셋에 맞게 특화되어야 한다는 점을 시사한다.