[논문 리뷰] Assessing Test Case Prioritization on Real Faults and Mutants

Qi Luo, Kevin Moran외 2명|arXiv (Cornell University)|2018. 07. 23.

Software Testing and Debugging Techniques참고 문헌 61인용 수 3

한 줄 요약

이 연구는 Defects4J의 실제 결함과 35,000+개의 면역변이체를 대상으로 테스트 케이스 우선순위 지정(TCP) 기법을 평가하여, 면역기반 성능 평가가 일반적으로 실제 환경에서의 효과를 약 20% 정도 과대평가하는 것으로 나타났다. 특히 단순하고 포함되는 면역변이체가 포함될 경우 더욱 두드러진다. 핵심적으로, 면역변이체에서의 TCP 기법 순위는 실제 결함에서의 순위를 신뢰성 있게 예측하지 못하며, 이는 TCP 연구에서 면역기반 평가의 타당성을 의심스럽게 한다.

ABSTRACT

Test Case Prioritization (TCP) is an important component of regression testing, allowing for earlier detection of faults or helping to reduce testing time and cost. While several TCP approaches exist in the research literature, a growing number of studies have evaluated them against synthetic software defects, called mutants. Hence, it is currently unclear to what extent TCP performance on mutants would be representative of the performance achieved on real faults. To answer this fundamental question, we conduct the first empirical study comparing the performance of TCP techniques applied to both real-world and mutation faults. The context of our study includes eight well-studied TCP approaches, 35k+ mutation faults, and 357 real-world faults from five Java systems in the Defects4J dataset. Our results indicate that the relative performance of the studied TCP techniques on mutants may not strongly correlate with performance on real faults, depending upon attributes of the subject programs. This suggests that, in certain contexts, the best performing technique on a set of mutants may not be the best technique in practice when applied to real faults. We also illustrate that these correlations vary for mutants generated by different operators depending on whether chosen operators reflect typical faults of a subject program. This highlights the importance, particularly for TCP, of developing mutation operators tailored for specific program domains.

연구 동기 및 목표

• 면역변이체에서의 테스트 케이스 우선순위 지정(TCP) 기법 성능이 실제 소프트웨어 결함에서의 성능을 신뢰성 있게 반영하는지 조사하기 위해
• TCP의 면역기반 평가가 실질적 테스팅 시나리오를 얼마나 잘 대변하는지 평가하기 위해
• 면역변이체가 실제 결함을 얼마나 잘 대표하는지 영향을 미치는 요인들—예: 면역변이체 유형, 프로그램 특성, 면역 연산자—를 규명하기 위해
• APFD와 APFDc 등의 다양한 메트릭이 면역변이체와 실제 결함 탐지 성능 간 상관관계에 미치는 영향을 평가하기 위해
• TCP 평가의 현실성 향상을 위해 도메인 특화, 결함 모델 기반 면역 연산자를 개발할 것을 주장하기 위해

제안 방법

• 8개의 잘 알려진 TCP 기법을 구현하고, Defects4J 데이터셋의 357개 실제 결함과 Pit를 사용해 생성한 35,000개 이상의 면역변이체에 적용하였다.
• 표준 메트릭 두 가지인 APFD(평균 결함 탐지 비율)와 APFDc(비용 고려 APFD)를 사용하여 성능을 측정하고, 실제 결함과 면역변이체 간 결과를 비교하였다.
• 면역변이체를 단순, 포함되는, 그리고 다양한 면역 연산자(예: 산술, 불리언, 리턴)에 의해 생성된 것으로 분류하여, 성능 상관관계에 미치는 영향을 분석하였다.
• 다섯 개인 자바 시스템에서 면역변이체와 실제 결함에서의 TCP 기법 순위 간 상관관계를 평가하기 위해 통계 분석을 수행하였다.
• 면역변이체의 결합성과 연산자 유형이 실제 결함에 대한 면역변이체의 대표성에 미치는 영향을 평가하였다.
• 도메인 특화 결함 모델 기반 및 맞춤형 면역 연산자를 활용해 평가의 현실성을 향상시키기 위한 향후 연구를 위한 프레임워크를 제안하였다.

실험 결과

연구 질문

• RQ1 면역변이체에서의 TCP 기법 성능이 실제 세계의 결함에서의 성능과 얼마나 상관이 있는가?
• RQ2 다양한 면역 연산자가 TCP 기법 평가에서 면역변이체의 대표성에 어떤 영향을 미치는가?
• RQ3 성능 메트릭 선택(APFD 대비 APFDc)이 면역변이체와 실제 결함 탐지 성능 간 상관관계에 영향을 미치는가?
• RQ4 프로그램 고유의 특성이 면역기반 TCP 평가의 신뢰성에 어떤 영향을 미치는가?
• RQ5 맞춤형 면역 연산자는 실질적인 TCP 평가의 현실성 향상에 기여하는가?

주요 결과

• APFD를 사용한 면역기반 TCP 평가에서는 실제 결함 탐지 성능이 평균 약 20% 과대평가되는 경향이 있으며, 특히 단순 및 포함되는 면역변이체가 포함될 경우 더욱 두드러진다.
• 단순 및 포함되는 면역변이체를 제거한 후, 면역변이체에서의 성능은 실제 결함 탐지 성능을 평균 약 3% 정도 약간 낮게 예측하여 대표성 향상이 확인된다.
• 면역변이체에서의 TCP 기법 순위는 실제 결함에서의 순위와 일관되게 상관되지 않으며, 이 상관관계 부족은 주어진 소프트웨어 프로그램에 따라 크게 달라진다.
• APFD의 경우 면역변이체와 실제 결함 탐지 성능 간 상관관계는 약한 편이지만, APFDc의 경우 중간에서 강한 수준까지 상관관계가 나타나, APFDc가 면역기반 평가에 더 신뢰할 수 있음을 시사한다.
• 다양한 면역 연산자는 서로 다른 수준의 대표성을 제공하며, 성능 상관관계는 프로그램과 연산자 유형에 따라 달라진다.
• 정적 TCP 기법이 실제 결함에서 약간 더 뛰어난 성능을 보였지만, 통계적으로 유의미한 차이는 없어 실질적으로 한 기법이 우세하다고 볼 수 없다.