[논문 리뷰] How Far Does the Predictive Decision Impact the Software Project? The Cost, Service Time, and Failure Analysis from a Cross-Project Defect Prediction Model

Umamaheswara Sharma B, Ravichandra Sadam|arXiv (Cornell University)|2022. 09. 28.

Software Reliability and Analysis Research인용 수 8

한 줄 요약

이 논문은 프로젝트 간 결함 예측(CPDP)을 위한 확률적 가중 다数 투표(PWMV)를 갖춘 하이브리드-유도자 앙상블 학습(HIEL) 프레임워크를 제안한다. PROMISE, NASA, AEEEM 데이터셋 전반에서 F-measure와 AUC가 크게 향상되었으며, 프로젝트별 지표인 PPC(비용 절감), PNPC(남은 작업), FOR(실패 위험)를 도입함으로써 프로젝트 비용, 서비스 시간, 고장률을 감소시켰다.

ABSTRACT

Context: Cross-project defect prediction (CPDP) models are being developed to optimize the testing resources. Objectives: Proposing an ensemble classification framework for CPDP as many existing models are lacking with better performances and analysing the main objectives of CPDP from the outcomes of the proposed classification framework. Method: For the classification task, we propose a bootstrap aggregation based hybrid-inducer ensemble learning (HIEL) technique that uses probabilistic weighted majority voting (PWMV) strategy. To know the impact of HIEL on the software project, we propose three project-specific performance measures such as percent of perfect cleans (PPC), percent of non-perfect cleans (PNPC), and false omission rate (FOR) from the predictions to calculate the amount of saved cost, remaining service time, and percent of the failures in the target project. Results: On many target projects from PROMISE, NASA, and AEEEM repositories, the proposed model outperformed recent works such as TDS, TCA+, HYDRA, TPTL, and CODEP in terms of F-measure. In terms of AUC, the TCA+ and HYDRA models stand as strong competitors to the HIEL model. Conclusion: For better predictions, we recommend ensemble learning approaches for the CPDP models. And, to estimate the benefits from the CPDP models, we recommend the above project-specific performance measures.

연구 동기 및 목표

• 다양한 프로젝트 간 성능과 일반화 능력에 한계를 보이는 기존 CPDP 모델의 문제점을 해결하기 위해.
• 기본 학습기의 다양성을 통해 예측 정확도를 향상시키는 앙상블 기반 분류 프레임워크를 개발하기 위해.
• 모델 예측을 실제 프로젝트 결과(비용 절감 및 잔여 작업 등)와 연결하는 응용 분야 특화 성능 측정 지표(PPC, PNPC, FOR)를 도입하기 위해.
• 최근의 CPDP 접근 방식인 TCA+, HYDRA, TDS, TPTL, CODEP와의 비교를 통해 HIEL 모델의 실증적 타당성을 검증하기 위해.
• CPDP 모델이 소프트웨어 프로젝트 관리에 미치는 실질적 영향을 비용, 시간, 고장 영향 측면에서 정량화하여 입증하기 위해.

제안 방법

• HIEL 프레임워크는 부트스트랩 집합을 활용하여 6개의 다양한 유도자인 로지스틱 회귀, SVM, 결정 트리, 나이브 베이즈, k-NN, 신경망을 사용해 총 60개의 분류기 생성.
• 각 유도자는 소스 프로젝트의 확장된 결함 데이터에서 무작위 부분집합을 사용해 훈련하여 앙상블 내에서의 다양성을 확보.
• 확률적 가중 다수결 투표(PWMV) 조합기는 예측 정확도에 기반해 분류기에 가중치를 동적으로 할당하며, 오류에 대한 보상과 정확한 예측의 강화를 위해 매개변수 β를 사용해 가중치를 업데이트.
• PWMV 메커니즘은 앙상블 내에서 가장 성능이 좋은 전문가가 저지르는 실수의 수에 대해 엄격한 상한선을 보장한다.
• 모듈 크기(Lines of Code)와 혼동 행렬 데이터를 통합하여 프로젝트별 성능 지표인 PPC, PNPC, FOR를 유도.
• 표준 평가 지표(F-measure, AUC)와 제안된 결과 기반 측정 지표를 사용해 PROMISE, NASA, AEEEM 레포지터리에서 실증 평가 수행.

실험 결과

연구 질문

• RQ1 HIEL 앙상블 모델은 TCA+, HYDRA, TDS, TPTL, CODEP와 같은 최근 CPDP 모델과 비교해 F-measure와 AUC 측면에서 어떻게 성능을 발휘하는가?
• RQ2 PPC, PNPC, FOR와 같은 새로운 성능 지표를 통해 HIEL 모델은 프로젝트 비용, 잔여 서비스 시간, 고장률을 얼마나 줄일 수 있는가?
• RQ3 다양한 기본 분류기들을 앙상블 프레임워크에 통합함으로써, 다양한 프로젝트 간 결함 예측에서 더 나은 일반화 능력과 향상된 성능을 달성할 수 있는가?
• RQ4 PWMV 전략은 다양한 분류기 성능에 효과적으로 적응하여 최종 예측 결정의 오류를 최소화할 수 있는가?
• RQ5 PPC, PNPC, FOR와 같은 프로젝트별 지표는 기존의 머신러닝 평가 지표를 초월해 프로젝트 관리자에게 실질적인 통찰을 제공하는가?

주요 결과

• HIEL 모델은 PROMISE, NASA, AEEEM 레포지터리의 여러 타겟 프로젝트에서 TDS, TCA+, HYDRA, TPTL, CODEP와 비교해 뛰어난 F-measure 성능을 기록했다.
• AUC 측면에서 HIEL 모델은 평가에서 가장 강력한 벤치마크로 평가된 TCA+와 HYDRA와 경쟁적으로 성능을 발휘했다.
• 제안된 프로젝트별 지표인 PPC(완벽한 청소 비율), PNPC(비완벽한 청소 비율), FOR(거짓 기각률)는 비용 절감, 잔여 작업, 고장 위험에 대한 실질적인 통찰을 제공했다.
• PPC는 모델이 결함이 없는 모듈을 조기에 식별함으로써 프로젝트 예산의 상당한 비율을 절감할 수 있음을 시사했다.
• PNPC는 나머지 테스팅 작업량을 드러내며, 테스트 팀의 부담을 효과적으로 줄였음을 보여주었다.
• FOR 값은 출시된 소프트웨어에서 감지되지 않은 결함의 위험을 최소화했음을 입증했으며, 낮은 FOR는 고장 회피 능력 향상과 높은 신뢰도를 의미했다.