[논문 리뷰] AutoSpearman: Automatically Mitigating Correlated Metrics for Interpreting Defect Models

Jirayus Jiarpakdee, Chakkrit Tantithamthavorn외 1명|arXiv (Cornell University)|2018. 06. 26.

Industrial Vision Systems and Defect Detection인용 수 4

한 줄 요약

이 논문은 결함 예측 모델에서 상관관계가 있는 소프트웨어 메트릭을 완화하기 위해 스피어만 순위 상관계수와 분산팽창요인(VIF) 분 析을 사용하는 자동화된 방법인 AutoSpearman을 제안한다. 일반적으로 사용되는 특성 선택 기법이 일관되고 상관관계가 없는 메트릭 하위집합을 생성하지 못하는 것으로 나타났으며, AutoSpearman는 훈련 샘플 간에 69%의 메트릭 일관성(중앙값)을 달성하면서 AUC, F-measure, MCC에서 1–2% 이내의 성능 저하만을 보였다.

ABSTRACT

The interpretation of defect models heavily relies on software metrics that are used to construct them. However, such software metrics are often correlated to defect models. Prior work often uses feature selection techniques to remove correlated metrics in order to improve the performance of defect models. Yet, the interpretation of defect models may be misleading if feature selection techniques produce subsets of inconsistent and correlated metrics. In this paper, we investigate the consistency and correlation of the subsets of metrics that are produced by nine commonly-used feature selection techniques. Through a case study of 13 publicly-available defect datasets, we find that feature selection techniques produce inconsistent subsets of metrics and do not mitigate correlated metrics, suggesting that feature selection techniques should not be used and correlation analyses must be applied when the goal is model interpretation. Since correlation analyses often involve manual selection of metrics by a domain expert, we introduce AutoSpearman, an automated metric selection approach based on correlation analyses. Our evaluation indicates that AutoSpearman yields the highest consistency of subsets of metrics among training samples and mitigates correlated metrics, while impacting model performance by 1-2%pts. Thus, to automatically mitigate correlated metrics when interpreting defect models, we recommend future studies use AutoSpearman in lieu of commonly-used feature selection techniques.

연구 동기 및 목표

• 일반적으로 사용되는 특성 선택 기법이 결함 예측에서 일관되고 상관관계가 없는 메트릭 하위집합을 생성하는지 조사하기 위해.
• 특성 선택이 메트릭 상관관계와 모델 해석 가능성 신뢰도에 미치는 영향을 평가하기 위해.
• 해석 가능한 결함 모델을 위한 일관된 메트릭 선택을 보장하는 수동 상관관계 분석의 자동화된 대안을 개발하기 위해.
• AutoSpearman의 성능와 일관성을 결함 예측에서 널리 사용되는 아홉 가지 특성 선택 기법과 비교하기 위해.

제안 방법

• AutoSpearman는 두 단계의 상관관계 완화 프로세스를 적용한다: 첫 번째로, 모든 메트릭 쌍 간의 스피어만 순위 상관계수를 계산한다.
• 두 번째로, 분산팽창요인(VIF) 분 析을 사용하여 다중공선성(다중상관관계)를 보이는 메트릭을 탐지하고 제거한다.
• 모든 잔류 메트릭의 VIF 값이 5 이하가 될 때까지 VIF 값이 가장 높은 메트릭을 반복적으로 제거한다.
• 13개의 공개 결함 데이터셋에서의 훈련 샘플에 대해 이 방법을 적용하여 다양한 랜덤 분할 간에도 일관된 메트릭 선택을 보장한다.
• 일관성은 여러 훈련 샘플 간에 일관되게 선택된 메트릭의 중앙값 백분율로 측정된다.
• 성능 평가는 AUC, F-measure, 매튜스 상관계수(MCC)를 사용하여 AutoSpearman를 아홉 가지 특성 선택 기법과 비교한다.

실험 결과

연구 질문

• RQ1 RQ1: 특성 선택 기법이 동일한 결함 데이터셋의 다양한 훈련 샘플에서 일관되게 동일한 메트릭 하위집합을 생성하는가?
• RQ2 RQ2: 특성 선택 기법이 결함 데이터셋에서 상관관계가 있는 메트릭을 효과적으로 완화하는가?
• RQ3 RQ3: AutoSpearman가 다양한 훈련 샘플 간에 생성하는 메트릭 하위집합의 일관성은 어떠한가?
• RQ4 RQ4: 특성 선택 기법과 비교할 때 AutoSpearman는 결함 예측 모델의 성능에 어떤 영향을 미치는가?

주요 결과

• 특성 선택 기법은 일관되지 않은 메트릭 하위집합을 생성하며, 동일한 데이터셋의 다양한 훈련 샘플에서 6–41%의 메트릭만이 일관되게 선택된다.
• 특성 선택 기법이 생성하는 메트릭 하위집합의 최대 100%가 상관관계가 있는 메트릭을 포함하여 다중공선성의 효과적인 완화가 이루어지지 않음을 시사한다.
• AutoSpearman는 평가된 모든 방법 중에서 가장 높은 일관성을 달성하였으며, 훈련 샘플 간 평균 69%의 메트릭이 일관되게 선택되었다.
• AutoSpearman는 메트릭 상관관계를 효과적으로 감소시키며, AUC, F-measure, MCC에서 성능 저하가 1–2%포인트 이내로 최소화된다.
• 연구는 수동 상관관계 분 析가 신뢰할 수 있는 모델 해석을 위해 필수적이지만, AutoSpearman를 통한 자동화로 재현성과 일관성이 향상됨을 확인하였다.
• AutoSpearman는 모든 아홉 가지 특성 선택 기법보다 메트릭 하위집합 일관성에서 뛰어나, 해석 가능한 결함 모델링을 위한 권장 방법으로 제안된다.