[논문 리뷰] The Impact of Correlated Metrics on Defect Models

Jirayus Jiarpakdee, Chakkrit Tantithamthavorn외 1명|arXiv (Cornell University)|2018. 01. 31.

Software Engineering Research참고 문헌 81인용 수 21

한 줄 요약

이 연구는 소프트웨어 메트릭 간 상관관계가 결함 모델의 해석에 미치는 영향을 조사하며, 상관관계가 있는 메트릭이 9가지 해석 기법에서 메트릭 순위를 왜곡함을 발견한다. 상관관계가 있는 메트릭을 제거하면 순위 일관성이 크게 향상되나, ANOVA Type-I를 제외한 모든 기법에서 성능에 거의 영향을 주지 않으며, 이에 따라 연구자들이 상관관계가 있는 메트릭을 제거하고 결함 모델링 연구에서 ANOVA Type-I를 피해야 한다는 권고를 내리게 된다.

ABSTRACT

Defect models are analytical models that are used to build empirical theories that are related to software quality. Prior studies often derive knowledge from such models using interpretation techniques, such as ANOVA Type-I. Recent work raises concerns that prior studies rarely remove correlated metrics when constructing such models. Such correlated metrics may impact the interpretation of models. Yet, the impact of correlated metrics in such models has not been investigated. In this paper, we set out to investigate the impact of correlated metrics, and the benefits and costs of removing correlated metrics on defect models. Through a case study of 15 publicly-available defect datasets, we find that (1) correlated metrics impact the ranking of the highest ranked metric for all of the 9 studied model interpretation techniques. On the other hand, removing correlated metrics (2) improves the consistency of the highest ranked metric regardless of how a model is specified for all of the studied interpretation techniques (except for ANOVA Type-I); and (3) negligibly impacts the performance and stability of defect models. Thus, researchers must (1) mitigate (e.g., remove) correlated metrics prior to constructing a defect model; and (2) avoid using ANOVA Type-I even if all correlated metrics are removed.

연구 동기 및 목표

• 소프트웨어 공학 분야에서 상관관계가 있는 소프트웨어 메트릭이 결함 모델의 해석에 미치는 영향을 조사하는 것.
• 모델 일관성, 성능, 안정성에 대해 상관관계가 있는 메트릭을 제거하는 데서 유래하는 이점과 비용을 평가하는 것.
• 특히 ANOVA Type-I와 같은 널리 사용되는 해석 기법이 상관관계가 있는 메트릭이 존재할 경우 신뢰성에 미치는 영향을 평가하는 것.
• 실험적 소프트웨어 품질 연구의 타당성을 향상시키기 위한 실질적인 지침을 제공하는 것.

제안 방법

• 15개의 공개된 결함 데이터셋에서 상관관계가 있는 메트릭을 탐지하고 제거하기 위해 변수 군집화(VarClus)와 분산팽창요인(VIF)을 적용하였다.
• 상관관계가 제거된(비상관 메트릭 없음) 데이터셋과 제거되지 않은 데이터셋을 사용하여 로지스틱 회귀 및 랜덤 포레스트 모델을 구축하였다.
• 9가지 모델 해석 기법을 사용: ANOVA Type-I, ANOVA Type-II(Wald, 우도비, F, 카이제곱), 및 스케일링/비스케일링된 기니 및 순열 중요도.
• AUC, F-measure, 매튜스 상관계수(MCC)를 사용해 모델 성능을 비교하고, 데이터셋 간 안정성도 평가하였다.
• 일반화 가능성 평가를 위해 오픈소스 및 프라이빗 시스템을 포함한 15개의 결함 데이터셋을 대상으로 사례 연구 방식을 적용하였다.

실험 결과

연구 질문

• RQ1 RQ1: 다양한 해석 기법에서 상관관계가 있는 메트릭이 결함 모델의 메트릭 순위에 어떤 영향을 미치는가?
• RQ2 RQ2: 상관관계가 있는 메트릭을 제거함으로써 메트릭 순위 일관성에 어떤 이점이 있는가?
• RQ3 RQ3: 상관관계가 있는 메트릭을 제거함으로써 결함 모델의 성능 및 안정성에 어떤 영향을 미치는가?
• RQ4 RQ4: 상관관계가 있는 메트릭이 존재하거나 제거되었을 때, 다양한 모델 해석 기법(예: ANOVA Type-I 대 Type-II)은 어떻게 행동하는가?

주요 결과

• 상관관계가 있는 메트릭은 ANOVA Type-I, Type-II, 기니, 순열 중요도를 포함한 모든 9가지 해석 기법에서 상위 순위 메트릭의 순위를 심각하게 왜곡한다.
• 상관관계가 있는 메트릭을 제거하면 모든 해석 기법에서 상위 순위 메트릭의 순위 일관성이 향상되나, ANOVA Type-I만은 메트릭 순서에 민감하여 여전히 왜곡이 지속된다.
• AUC, F-measure, MCC로 측정한 결함 모델의 성능는 상관관계가 있는 메트릭을 제거해도 거의 영향을 받지 않아 모델 안정성에 대한 비용이 극히 낮다.
• 상관관계가 있는 메트릭을 제거하면 메트릭 순위 일관성이 상당히 향상되어 소프트웨어 품질 연구에서 더 신뢰할 수 있고 재현 가능한 실험적 결과를 도출할 수 있다.
• ANOVA Type-I는 상관관계가 있는 메트릭이 제거된 경우조차도 본질적으로 신뢰할 수 없으며, 더 견고한 대안들로 대체되어야 한다.