[논문 리뷰] Benchmarking cross-project defect prediction approaches with costs metrics

Steffen Herbold|arXiv (Cornell University)|2018. 01. 12.

Software Engineering Research참고 문헌 64인용 수 3

한 줄 요약

이 논문은 비용 감수성 지표를 사용하여 26개의 프로젝트 간 결함 예측(CPDP) 방법을 벤치마킹하며, 모든 코드를 결함이 있는 것으로 간주하는 단순한 베이스라인 방법이 대부분의 CPDP 방법보다 비용 효율성에서 뛰어나다는 것을 드러냈다. 이 연구는 기존 성능 지표와 비용 기반 순위 간 상관관계가 없음을 보여주며, 현재 CPDP 모델들이 표준 지표에서는 뛰어난 성능을 보이지만 실질적인 비용 절감을 이루지 못하고 있음을 시사한다.

ABSTRACT

Defect prediction can be a powerful tool to guide the use of quality assurance resources. In recent years, many researchers focused on the problem of Cross-Project Defect Prediction (CPDP), i.e., the creation of prediction models based on training data from other projects. However, only few of the published papers evaluate the cost efficiency of predictions, i.e., if they save costs if they are used to guide quality assurance efforts. Within this paper, we provide a benchmark of 26 CPDP approaches based on cost metrics. Our benchmark shows that trivially assuming everything as defective is on average better than CPDP under cost considerations. Moreover, we show that our ranking of approaches using cost metrics is uncorrelated to a ranking based on metrics that do not directly consider costs. These findings show that we must put more effort into evaluating the actual benefits of CPDP, as the current state of the art of CPDP can actually be beaten by a trivial approach in cost-oriented evaluations.

연구 동기 및 목표

• 기존 벤치마크가 기계학습 성능 지표에만 의존하는 데 비해, 실제 비용 지표를 사용하여 26개의 CPDP 접근 방식의 비용 효율성을 평가하는 것.
• 특히 릴리스 후 결함 수정 비용이 릴리스 전 검토 비용보다 15–50배 더 비싸다는 점을 감안할 때, CPDP 모델이 실제로 비용을 절감하는지 확인하는 것.
• 기존의 AUC 및 F-measure와 같은 전통적 지표 기반 순위와 비용 기반 순위 간 일관성을 평가하기 위해 CPDP 접근 방식의 비용 기반 순위를 전통적 지표 기반 순위와 비교하는 것.
• 비용 감수성 평가에서 단순한 베이스라인(모든 코드를 결함이 있는 것으로 예측)보다 뚜렷한 비용 우수성을 보이는 CPDP 접근 방식이 있는지 확인하는 것.
• 결함 예측 연구에서 작은 표본 크기의 위험을 규명하고, 일반화 능력을 향상시키기 위해 더 대규모의 벤치마크를 도입할 것을 촉구하는 것.

제안 방법

• Herbold 등(2017a)이 사용한 동일한 데이터 세트를 사용하여 2008–2016년 사이에 발표된 26개의 CPDP 접근 방식을 재현함으로써 방법론의 일관성을 확보했다.
• 실제 비용 비율(예: 릴리스 후 결함 수정 비용이 15–50배 더 높음)을 바탕으로 총 비용, 거짓 음성 비용, 거짓 양성 비용의 세 가지 비용 지표를 적용했다.
• 각 CPDP 접근 방식이 단순한 베이스라인과 상호 비교할 때 통계적 유의성 검정(예: 윌콕슨 부호 순위 검정)을 수행했다.
• JURECZKO 및 PROMISE 데이터 세트에 포함된 67개 소프트웨어 프로젝트에서 평가를 수행하였으며, 결함 레이블은 커밋 기록과 이슈 트래킹 시스템에서 유도되었다.
• 구현 정확성과 구성 타당성을 확보하기 위해 이전의 벤치마크와의 일관성 검증을 수행했다.
• 노이즈와 잘못된 레이블링 영향을 줄이기 위해 다수의 데이터 세트를 사용하여 비용 기반 비교의 신뢰도를 향상시켰다.

실험 결과

연구 질문

• RQ1 비용 지표로 평가할 때, 프로젝트 간 결함 예측(CPDP)이 모든 코드를 결함이 있는 것으로 간주하는 단순한 베이스라인 방법보다 뛰어나게 성능을 내는가?
• RQ2 비용 지표 기반 순위와 기존의 기계학습 지표(AUC, F-measure 등) 기반 순위 간의 순위 비교는 어떻게 되는가?
• RQ3 어떤 CPDP 접근 방식이 다양한 비용 지표에서 단순한 베이스라인보다 통계적으로 유의미한 비용 우수성을 보이는가?
• RQ4 표준 평가 지표에서 뛰어난 성능을 보이는 현재의 CPDP 방법들이 실제로 비용 절감을 이루지 못하는 정도는 어느 정도인가?
• RQ5 표본 크기가 CPDP 벤치마크 결과의 일반화 능력에 어떤 영향을 미치며, 향후 연구에 어떤 함의를 갖는가?

주요 결과

• 모든 코드를 결함이 있는 것으로 예측하는 단순한 베이스라인 방법이 대부분의 CPDP 접근 방식보다 비용 지표 기반에서 더 뛰어난 성능을 보이며, 이는 현재 CPDP 모델들이 비용을 절감하지 못하고 있음을 시사한다.
• 단 하나의 CPDP 접근 방식(Liu 등, 2010)만이 두 데이터 세트 중 하나에서 유일한 비용 지표에서 단순한 베이스라인을 뛰어넘는 유의미한 성과를 보였다.
• 기존의 지표(AUC, F-measure 등) 기반 순위와 비용 지표 기반 순위 간에 통계적으로 유의미한 상관관계가 없음을 확인하였으며, 이는 표준 지표가 비용 효율성의 예측에 빈약함을 시사한다.
• 가장 뛰어난 성능을 보인 두 CPDP 방법—Liu 등(2010)과 Canfora 등(2013, 2015)—은 유일하게 모델 학습 과정에서 비용 최적화를 명시적으로 고려한 방법들이다.
• 벤치마크 결과는 비용을 직접 최적화하는 것이 필수적임을 시사하며, 예측 정확도 최적화에만 치중한 모델은 실질적인 비용 절감을 이룰 수 없다는 것을 보여준다.
• 67개 프로젝트의 작은 표본 크기는 외부 타당성에 중대한 위협이 되며, 일반화 능력에 제한을 둔다. 이는 결함 예측 연구 분야에서 잠재적인 재현성 위기 문제를 제기한다.