[논문 리뷰] Empirical Evaluation of Mutation-based Test Prioritization Techniques

Donghwan Shin, Shin Yoo외 2명|arXiv (Cornell University)|2017. 09. 14.

Software Testing and Debugging Techniques참고 문헌 27인용 수 4

한 줄 요약

이 논문은 기존 프로그램에서가 아니라 상호 간에 돌연변이(mutant)를 구별할 수 있는 능력에 기반해 테스트 케이스를 우선순위를 정하는 다양성 인지 돌연변이 기반 테스트 케이스 우선순위 지정 기법을 제안한다. 352개의 실제 결함과 553,477개의 테스트 케이스에 대한 실증 평가 결과, 돌연변이 제거와 구별 기준을 하이브리드 그리디 방법으로 조합한 것이 단일 목적 기반 방법보다 성능이 뛰어나지만, 모든 결함에서 한 가지 기법이 항상 우월한 것은 아님을 확인함.

ABSTRACT

We propose a new test case prioritization technique that combines both mutation-based and diversity-based approaches. Our diversity-aware mutation-based technique relies on the notion of mutant distinguishment, which aims to distinguish one mutant's behavior from another, rather than from the original program. We empirically investigate the relative cost and effectiveness of the mutation-based prioritization techniques (i.e., using both the traditional mutant kill and the proposed mutant distinguishment) with 352 real faults and 553,477 developer-written test cases. The empirical evaluation considers both the traditional and the diversity-aware mutation criteria in various settings: single-objective greedy, hybrid, and multi-objective optimization. The results show that there is no single dominant technique across all the studied faults. To this end, ev{we we show when and the reason why each one of the mutation-based prioritization criteria performs poorly, using a graphical model called Mutant Distinguishment Graph (MDG) that demonstrates the distribution of the fault detecting test cases with respect to mutant kills and distinguishment.

연구 동기 및 목표

• 기존의 돌연변이 제거 기준 외에 새로운 다양성 인지 돌연변이 구별 기준을 포함한 돌연변이 기반 테스트 우선순위 지정의 효과성과 비용을 조사하는 것.
• 각 기준에 대해 단일 목적 그리디, 하이브리드, 다중 목적 우선순위 지정 전략의 성능을 평가하는 것.
• 새로운 시각적 분석 모델을 활용해 각 우선순위 지정 기준이 성능이 떨어지는 시점과 이유를 규명하는 것.
• 회귀 테스팅에서 조기 결함 탐지 향상을 위해 돌연변이 기반 및 다양성 기반 기준을 어떻게 조합할 수 있는지 통찰을 제공하는 것.

제안 방법

• 기존 프로그램이 아니라 다른 모든 돌연변이와의 행동 차이를 분별할 수 있는 능력에 중점을 둔 새로운 돌연변이 기반 우선순위 지정 기준을 제안함.
• 결함 탐지 관점에서 테스트 케이스, 돌연변이 제거, 돌연변이 분별 간의 관계를 분석하기 위해 '돌연변이 분별 그래프(Mutant Distinguishment Graph, MDG)'라는 시각적 모델을 도입함.
• 세 가지 우선순위 지정 전략을 활용: 그로우디(단일 목적), 하이브리드(제거 및 분별 조합), 다중 목적(동시 최적화).
• 352개의 실제 결함과 553,477개의 개발자가 작성한 테스트 케이스를 포함한 Defects4J 벤치마크를 사용해 효과성과 실행 비용을 평가함.
• 효과성은 결함 탐지 비율과 결함 탐지 시간으로 측정하고, 비용은 우선순위 지정 실행 시간으로 측정함.
• NSGA-II와 TAEA 알고리즘을 사용해 돌연변이 제거와 분별 간의 트레이드오프를 탐색하기 위해 다중 목적 최적화를 적용함.

실험 결과

연구 질문

• RQ1 제안된 다양성 인지 돌연변이 기반 우선순위 지정 기법은 기존의 돌연변이 제거 기반 우선순위 지정 기법보다 얼마나 효과적인가?
• RQ2 그리디, 하이브리드, 다중 목적 전략 중 어떤 것이 실제 세계의 결함에서 가장 뛰어난 결함 탐지 성능을 낼 수 있는가?
• RQ3 돌연변이 제거 기반 우선순위 지정이 실패하는 조건는 무엇이며, 그 이유는 무엇인가?
• RQ4 돌연변이 제거와 분별의 조합이 테스트 케이스 순서 정하기의 효과성에 어떤 영향을 미치는가?
• RQ5 다중 목적 우선순위 지정의 계산 비용은 그리디 및 하이브리드 접근 방식에 비해 얼마나 되는가?

주요 결과

• 돌연변이 제거와 분별 기준을 조합한 하이브리드 그로우디 방법이 가장 뛰어난 결함 탐지 성능을 보이며, 단일 목적 전략보다 뛰어남.
• 모든 352개의 결함에서 한 가지 우선순위 지정 기법이 항상 우월한 것은 아니며, 결함 특성에 따라 성능이 크게 달라짐.
• 다중 목적 우선순위 지정은 테스트 셋당 약 37분이 소요되며, 그리디 및 하이브리드 방법은 8초 미만이므로 높은 비용-편익 트레이드오프를 보임.
• 분별 기준만 사용할 경우 제거 기준보다 뛰어나지 않지만, 두 기준을 조합하면 결함 탐지 효과성이 크게 향상됨.
• MDG 시각적 모델은 단순히 빨리 돌연변이를 제거한다고 해서 반드시 조기에 결함을 탐지하는 것은 아니며, 일부 결함 탐지 테스트 케이스는 돌연변이를 분별하지 못함을 드러냄.
• 돌연변이 기반 우선순위 지정은 적어도 88.9%의 결함에서 커버리지 기반 또는 무작위 우선순위 지정보다 효과적임.