[논문 리뷰] A Systematic Review of Unsupervised Learning Techniques for Software Defect Prediction

Ning Li, Martin Shepperd외 1명|arXiv (Cornell University)|2019. 07. 28.

Software Engineering Research참고 문헌 24인용 수 11

한 줄 요약

이 체계적 리뷰는 2000년 1월부터 2018년 3월까지 5개의 주요 데이터베이스(웹 오브 사이언스, ACM, IEEE Xplore, ScienceDirect, SpringerLink)를 활용한 체계적 문헌 조사와 49개의 연구, 2,456개의 실험 결과를 포함한 메타분석을 통해 소프트웨어 결함 예측을 위한 비지도 학습 기법을 평가한다. 연구 결과 비지도 모델, 특히 퍼지 C-평균(Fuzzy C-Means, FCM)과 퍼지 SOMs(Fuzzy SOMs, FSOMs)가 지도 학습 모델과 유사한 성능을 보였지만, 보고 품질과 실험 일관성에 광범위한 문제들이 존재하여 신뢰성에 영향을 미친다.

ABSTRACT

Background: Unsupervised machine learners have been increasingly applied to software defect prediction. It is an approach that may be valuable for software practitioners because it reduces the need for labeled training data. Objective: Investigate the use and performance of unsupervised learning techniques in software defect prediction. Method: We conducted a systematic literature review that identified 49 studies containing 2456 individual experimental results, which satisfied our inclusion criteria published between January 2000 and March 2018. In order to compare prediction performance across these studies in a consistent way, we (re-)computed the confusion matrices and employed the Matthews Correlation Coefficient (MCC) as our main performance measure. Results: Our meta-analysis shows that unsupervised models are comparable with supervised models for both within-project and cross-project prediction. Among the 14 families of unsupervised model, Fuzzy CMeans (FCM) and Fuzzy SOMs (FSOMs) perform best. In addition, where we were able to check, we found that almost 11% (262/2456) of published results (contained in 16 papers) were internally inconsistent and a further 33% (823/2456) provided insufficient details for us to check. Conclusion: Although many factors impact the performance of a classifier, e.g., dataset characteristics, broadly speaking, unsupervised classifiers do not seem to perform worse than the supervised classifiers in our review. However, we note a worrying prevalence of (i) demonstrably erroneous experimental results, (ii) undemanding benchmarks and (iii) incomplete reporting. We therefore encourage researchers to be comprehensive in their reporting.

연구 동기 및 목표

• 비지도 학습 기법이 지도 학습 방법과 비교하여 소프트웨어 결함 예측에서 어떤 성능을 보이는지 평가하기 위해.
• 내부 프로젝트 및 크로스 프로젝트 설정에서 결함 예측에 가장 효과적인 비지도 모델 가족을 특정하기 위해.
• 비지도 결함 예측 연구에서 실험 보고 품질을 평가하여 완전성과 일관성에 중점을 두기 위해.
• 비지도 결함 예측 모델의 실용성과 신뢰성에 대한 실무자와 연구자에게 실질적인 지침을 제공하기 위해.
• 재현성과 타당성을 손상시키는 실험 설계 및 보고의 체계적 문제를 부각시키기 위해.

제안 방법

• 2000년 1월부터 2018년 3월까지 웹 오브 사이언스, ACM, IEEE Xplore, ScienceDirect, SpringerLink의 5개 주요 데이터베이스를 활용해 체계적 문헌 조사를 수행하였다.
• 사전 정의된 포함 기준을 적용하여 비지도 결함 예측에 관한 49개의 주요 연구를 선별하였으며, 이로 인해 2,456개의 개별 실험 결과를 확보하였다.
• 보고된 성능 지표에서 혼동 행렬을 재계산하여 연구 간 일관성 확보 및 공정한 비교를 가능하게 하였다.
• 메타분석의 주요 성능 측정 지표로 매트릭스 상관 계수(MCC)를 사용하여 연구 간 비교를 가능하게 하였다.
• 문헌정보학적 분석과 품질 평가 분석을 수행하여 보고의 완전성, 일관성 및 연구 추세를 평가하였다.
• 모델을 14개의 가족과 6개의 군집 레이블링 기법으로 분류하여 알고리즘 가족 간 성능을 비교하였다.

실험 결과

연구 질문

• RQ1 2000년에서 2018년 사이에 비지도 소프트웨어 결함 예측 연구의 출판 추세는 어떠한가?
• RQ2 주요 연구들 간 보고의 완전성과 일관성 측면에서 실험 보고 품질은 어떠한가?
• RQ3 비지도 학습 알고리즘과 모델 가족 중에서 소프트웨어 결함 예측에서 뛰어난 예측 성능를 보이는 것은 무엇인가?
• RQ4 비지도 모델은 내부 프로젝트 및 크로스 프로젝트 결함 예측에서 지도 학습 모델과 비교하여 어떤 성능을 보이는가?
• RQ5 데이터셋 특성은 비지도 모델의 예측 성능에 어떤 영향을 미치는가?

주요 결과

• 비지도 학습 모델 중에서 특히 퍼지 C-평균(FCM)과 퍼지 SOMs(FSOMs)가 14개의 비지도 모델 가족 중에서 가장 높은 성능을 보였다.
• FCM와 FSOMs는 내부 프로젝트 및 크로스 프로젝트 결함 예측 시나리오에서 지도 학습 모델과 유사한 성능 수준을 달성하였다.
• 약 11% (2,456개 중 262개)의 결과가 내부적으로 일관성이 없었으며, 이는 실험 계산 또는 보고 오류를 시사한다.
• 약 33% (2,456개 중 823개)의 결과는 검증을 위해 충분한 세부 정보가 부족하여 재현성과 신뢰성에 심각한 제약을 초래한다.
• 강력한 성능에도 불구하고, 이 분야는 보고 품질 기준이 낮아 많은 연구가 핵심 방법론적 세부 정보를 공개하지 못하고 있다.
• 메타분 析는 비지도 모델이 레이블이 부족한 상황에서 지도 학습 모델의 타당한 대안이 될 수 있음을 확인했지만, 보고의 철저함이 향상되어야만 한다.