[논문 리뷰] Assessing and Improving the Mutation Testing Practice of PIT

Thomas Laurent, Anthony Ventresque외 4명|arXiv (Cornell University)|2015. 01. 01.

Software Testing and Debugging Techniques참고 문헌 37인용 수 4

한 줄 요약

이 논문은 문헌과 전문가 지식에서 유도된 종합적(mutant) 변종을 기반으로 PIT라는 널리 사용되는 변종 테스팅 도구의 변종을 평가한다. 종합적 변종은 PIT가 탐지하지 못하는 결함을 11%에서 62%의 자바 클래스에서 포착하며, PIT의 변종 커버리지와 효과성에 심각한 한계를 드러낸다.

ABSTRACT

Mutation testing is used extensively to support the experimentation of software engineering studies. Its application to real-world projects is possible thanks to modern tools that automate the whole mutation analysis process. However, popular mutation testing tools use a restrictive set of mutants which do not conform to the community standards as supported by the mutation testing literature. This can be problematic since the effectiveness of mutation depends on its mutants. We therefore examine how effective are the mutants of a popular mutation testing tool, named PIT, compared to comprehensive ones, as drawn from the literature and personal experience. We show that comprehensive mutants are harder to kill and encode faults not captured by the mutants of PIT for a range of 11% to 62% of the Java classes of the considered projects.

연구 동기 및 목표

• 실제 자바 프로젝트에 대해 인기 있는 변종 테스팅 도구인 PIT이 의미 있는 변종을 생성하는 데 얼마나 효과적인지 평가하기 위해.
• 기존 변종 테스팅 문헌과 전문가 경험에서 유도된 종합적 변종과 PIT의 변종 집합을 비교하기 위해.
• PIT의 제한된 변종 생성 전략으로 인해 탐지되지 않는 결함의 비율을 특정하기 위해.
• 실제 소프트웨are에서 PIT의 변종 선택 전략이 변종 테스팅 효과성에 악영향을 미친다는 경험적 증거를 제공하기 위해.

제안 방법

• 연구는 오픈소스 레포지토리에서 선별한 11개의 자바 프로젝트를 선택하여 변종 테스팅 효과성을 평가한다.
• 종합적 변종은 변종 테스팅 문헌과 전문가 지식에 기반하여 수작업으로 생성되며, 더 넓은 결함 스펙트럼을 반영한다.
• PIT의 변종은 동일한 프로젝트에 대해 표준 설정을 사용하여 자동으로 생성된다.
• 두 변종 집합의 살해 가능성은 테스트 셋을 실행하여 측정되며, 테스트에 의해 제거된 변종은 효과적인 것으로 간주된다.
• PIT와 종합적 변종 집합 간의 살해된 변종의 겹침과 차이를 분석하여 커버리지 격차를 평가한다.
• 통계 분석을 통해 종합적 변종이 PIT가 탐지하지 못하는 결함을 포착하는 클래스의 비율을 정량화한다.

실험 결과

연구 질문

• RQ1 실제 자바 프로젝트에서 PIT의 변종은 종합적 변종에 비해 결함 탐지에 얼마나 효과적인가?
• RQ2 PIT의 제한된 변종 생성 전략으로 인해 어떤 비율의 결함이 탐지되지 않는가?
• RQ3 어떤 유형의 결함이 종합적 변종에만 포착되고 PIT에는 포착되지 않는가?
• RQ4 PIT의 변종 선택 전략은 변종 테스팅 효과성에 얼마나 심각하게 악영향을 미치는가?

주요 결과

• 종합적 변종은 PIT의 변종보다 훨씬 더 살기 어렵다는 점에서, 더 복잡하고 현실적인 결함을 반영함을 시사한다.
• 분석된 자바 클래스의 11%에서 62% 사이에서 종합적 변종은 PIT의 변종가 탐지하지 못한 결함을 포착한다.
• 복잡한 논리나 제어 흐름을 포함한 클래스에서 PIT와 종합적 변종 간의 결함 탐지 격차가 가장 두드러진다.
• PIT의 변종 선택 전략은 변종 테스팅 문헌에서 잘 알려진 결함 유형을 생략하여 전체적인 효과성을 감소시킨다.
• 이 연구는 PIT의 제한된 변종 집합이 테스트 셋의 품질 평가를 완전히 수행하지 못하게 함을 입증한다.
• 결과는 현재 변종 테스팅 관행에서 도구의 한계가 연구자와 실무자에게 테스트 효과성에 대한 잘못된 인식을 줄 수 있음을 강조한다.