[논문 리뷰] Simplification of Training Data for Cross-Project Defect Prediction

Peng He, Bing Li외 2명|arXiv (Cornell University)|2014. 05. 05.

Software Engineering Research참고 문헌 33인용 수 17

한 줄 요약

이 논문은 교차 프로젝트 결함 예측(CPDP)을 위한 다중 분해능 훈련 데이터 단순화 방법을 제안하며, 릴리스 수준과 인스턴스 수준의 필터링을 조합하여 예측 성능을 향상시킨다. 10개의 오픈소스 프로젝트에서 얻은 34개 릴리스를 사용하여, 단순화 최적화된 데이터로 훈련된 Naïve Bayes 분류기가 F-측정치와 G-측정치에서 뛰어난 성능을 보이며, 훈련 데이터 크기가 50% 감소하고 DPR 기반 필터링 임계값을 통해 결함 탐지 성능이 향상됨을 입증한다.

ABSTRACT

Cross-project defect prediction (CPDP) plays an important role in estimating the most likely defect-prone software components, especially for new or inactive projects. To the best of our knowledge, few prior studies provide explicit guidelines on how to select suitable training data of quality from a large number of public software repositories. In this paper, we have proposed a training data simplification method for practical CPDP in consideration of multiple levels of granularity and filtering strategies for data sets. In addition, we have also provided quantitative evidence on the selection of a suitable filter in terms of defect-proneness ratio. Based on an empirical study on 34 releases of 10 open-source projects, we have elaborately compared the prediction performance of different defect predictors built with five well-known classifiers using training data simplified at different levels of granularity and with two popular filters. The results indicate that when using the multi-granularity simplification method with an appropriate filter, the prediction models based on Naive Bayes can achieve fairly good performance and outperform the benchmark method.

연구 동기 및 목표

• 크게 확산된 공개 소프트웨어 레포지터리에서 교차 프로젝트 결함 예측(CPDP)을 위한 고품질 훈련 데이터를 선별하는 과제를 해결하며, 특히 지역 데이터가 제한된 신규 또는 활동이 없는 프로젝트에 초점을 맞춘다.
• 이전의 CPDP 방법들이 단일 분해능 수준(예: 릴리스 수준 또는 인스턴스 수준)의 단순화에 의존하면서 체계적인 비교가 부족한 점을 보완한다.
• 다양한 조합의 분해능, 필터, 분류기들을 평가하여 CPDP에서 최적의 필터링 전략과 분류기를 선택하는 데 실용적이고 데이터 기반의 지침을 제공한다.
• 결함 경향 비율(DPR) 기반의 두 단계 단순화 전략을 통해 부적절하고 중복된 인스턴스를 필터링함으로써 예측 성능을 향상시키고 훈련 데이터 볼륨을 감소시킨다.

제안 방법

• 릴리스 수준과 인스턴스 수준에서 모두 필터링을 적용하여 훈련 데이터 볼륨을 줄이면서도 결함 경향성이 높은 컴ponent를 유지하는 다중 분해능 단순화 프레임워크를 제안한다.
• 두 가지 필터링 전략을 구현한다: (1) 릴리스 수준에서 결함 경향 비율(DPR) 기반 필터링, (2) KNN 기반 이웃 분석을 이용한 인스턴스 수준의 결함 가능성 기반 필터링.
• 최적의 필터링 임계값을 결정하기 위해 DPR 지수(결함 경향 비율)를 사용하며, 인스턴스 수준 필터링에서 0.3의 임계값이 효과적임을 발견했다.
• 두 단계의 단순화 프로세스를 적용한다: 먼저 DPR 기반으로 릴리스를 필터링하고, 그 다음 선택된 릴리스 내부의 개별 인스턴스를 KNN 기반 이웃 선택을 통해 필터링한다.
• 분류기 성능 향상을 위해 분산 안정화를 위해 특징을 로그 변환하여 전처리한다.
• 다섯 가지 분류기(Naïve Bayes, KNN, SVM, C4.5, 로지스틱 회귀)를 단순화된 훈련 데이터에 적용하여 CPDP에 가장 효과적인 모델을 식별한다.

실험 결과

연구 질문

• RQ1 RQ1: 제안된 다중 분해능 훈련 데이터 단순화 방법이 단일 수준 분해능 기반 벤치마크 방법보다 우월한가?
• RQ2 RQ2: 제안된 방법으로 단순화된 훈련 데이터를 사용할 때 어떤 분류기가 가장 우수한 성능을 보이는가?
• RQ3 RQ3: DPR 지수는 CPDP의 인스턴스 수준 단순화를 위한 효과적인 필터링 전략 선택을 안내하는 데 유용한가?

주요 결과

• 다중 분해능 단순화 방법은 벤치마크 방법과 비교해 경쟁적인 F-측정치와 G-측정치를 달성했으며, 성능에 통계적으로 유의미한 차이가 없었다.
• KNN 기반 필터링 단계에서 이웃 수를 증가시킬수록 릴리스 수준에서 훈련 데이터 크기가 약 50% 감소했다.
• Naïve Bayes 분류기가 단순화된 훈련 데이터에서 다른 모델보다 뛰어난 성능을 보이며, 평가된 모든 분류기 중에서 가장 높은 F-측정치와 G-측정치를 기록했다.
• DPR 지수는 최적의 필터링 임계값을 식별하는 데 효과적이었으며, 인스턴스 수준에서 DPR 임계값 0.3이 예측 성능 향상에 뚜렷하게 기여했다.
• DPR과 KNN 기반 이웃 분석에 기반한 제안된 필터링 전략은 잘못된 경향성 있는 인스턴스를 줄이면서도 실제로 결함이 있는 인스턴스를 더 많이 유지하는 데 성공했다.
• 본 연구는 CPDP에서 데이터 품질이 데이터 양보다 더 중요하며, 다중 분해능 필터링 기반 단순화가 모델 성능과 효율성을 향상시킨다는 점을 확인했다.