[논문 리뷰] Tailored Mutants Fit Bugs Better

Miltiadis Allamanis, Earl T. Barr외 2명|arXiv (Cornell University)|2016. 11. 08.

Software Testing and Debugging Techniques참고 문헌 31인용 수 6

한 줄 요약

이 논문은 대상 프로젝트의 코드베이스와 버전 기록에서 식별자와 리터럴을 재사용하여 변종을 생성하는 맞춤형 변종 연산자를 도입한다. 이는 기존 연산자 대비 실제 결함과의 결합도를 14% 향상시키며, 변종 폭발 문제를 해결하기 위해 부분모듈러 최적화를 활용한 위치 선택과 자연스러움 기반 순위 매기기를 통해 효율성을 확보한다.

ABSTRACT

Mutation analysis measures test suite adequacy, the degree to which a test suite detects seeded faults: one test suite is better than another if it detects more mutants. Mutation analysis effectiveness rests on the assumption that mutants are coupled with real faults i.e. mutant detection is strongly correlated with real fault detection. The work that validated this also showed that a large portion of defects remain out of reach. We introduce tailored mutation operators to reach and capture these defects. Tailored mutation operators are built from and apply to an existing codebase and its history. They can, for instance, identify and replay errors specific to the project for which they are tailored. As our point of departure, we define tailored mutation operators for identifiers, which mutation analysis has largely ignored, because there are too many ways to mutate them. Evaluated on the Defects4J dataset, our new mutation operators creates mutants coupled to 14% more faults, compared to traditional mutation operators. These new mutation operators, however, quadruple the number of mutants. To combat this problem, we propose a new approach to mutant selection focusing on the location at which to apply mutation operators and the unnaturalness of the mutated code. The results demonstrate that the location selection heuristics produce mutants more closely coupled to real faults for a given budget of mutation operator applications. In summary, this paper defines and explores tailored mutation operators, advancing the state of the art in mutation testing in two ways: 1) it suggests mutation operators that mutate identifiers and literals, extending mutation analysis to a new class of faults and 2) it demonstrates that selecting the location where a mutation operator is applied decreases the number of generated mutants without affecting the coupling of mutants and real faults.

연구 동기 및 목표

• 기존의 실증 연구에서 드러난 바와 같이 기존 변종 연산자가 실제 결함의 27%에 대해 결합도를 가지지 못하는 한계를 해결한다.
• 기존 연산자를 사용할 경우 변종 수가 기하급수적으로 증가함에 따라 발생하는 변종 테스팅의 확장성 문제를 극복한다.
• 코드베이스와 그 역사에 특화된 변종 연산자를 개발하여 변종 분석의 효과성을 향상시키고, 실제 결함을 탐지할 확률을 높인다.
• 위치와 비자연스러움에 중점을 두어, 변종 수를 줄이되 실제 결함과의 결합도를 유지하거나 향상시키는 새로운 변종 선택 전략을 개발한다.
• 맞춤형 변종 연산자가 변종 탐지와 실제 결함 탐지 간의 상관관계를 크게 향상시켜 변종 테스팅 분야의 기술 수준을 향상시킬 수 있음을 입증한다.

제안 방법

• 대상 프로젝트의 코드베이스와 버전 기록에서 유래한 의미적으로 타당한 대체 요소를 사용해 식별자와 리터럴을 교체하는 맞춤형 변종 연산자를 설계하며, 타입 안정성과 스코프 정확성을 보장한다.
• 제어 흐름 그래프에서 상호 간 거리가 가장 먼 프로그램 위치를 선택하기 위해 부분모듈러 최적화를 적용하여 변종 커버리지의 다양성을 극대화하고 중복을 줄인다.
• n-gram 언어 모델을 활용해 개별 변종의 자연스러움을 평가하고, 일반적인 코드 패턴에서 벗어나 가장 많은 편차를 보이는 변종을 우선순위에 올린다—이유는 버그가 있는 코드는 일반적으로 더 자연스럽지 않기 때문이다.
• 위치 선택과 자연스러움 순위 매기기를 조합하여 실행할 변종 수를 줄이되, 실제 결함 탐지 능력은 유지하거나 향상시킨다.
• Defects4J 벤치마크 세트에서 기존 연산자와의 비교를 통해 변종 수, 결함 결합도, 선택 효율성 측면에서 본 방법을 평가한다.
• 하이브리드 변종 선택 전략을 사용한다: 먼저 부분모듈러 최적화를 통해 다양한 프로그램 위치를 선택하고, 그 위치 내에서 자연스러움 점수에 따라 변종을 필터링한다.

실험 결과

연구 질문

• RQ1 프로젝트의 코드베이스와 버전 기록에서 식별자와 리터럴을 재사용하는 맞춤형 변종 연산자는 기존 변종 연산자 대비 실제 결함과의 결합도를 높일 수 있는가?
• RQ2 맞춤형 변종 연산자가 실제 결함 탐지 능력에 얼마나 기여하는가? 추가로 탐지된 결함 수를 기준으로 측정할 때의 효과성은 어떠한가?
• RQ3 맞춤형 연산자가 기존 연산자보다 훨씬 많은 수의 변종을 생성함에 따라 발생하는 변종 테스팅의 확장성 문제를 어떻게 완화할 수 있는가?
• RQ4 부분모듈러 최적화를 활용한 변종 위치 선택 전략이 랜덤 또는 균일 선택 전략보다 더 효과적인가?
• RQ5 자연스러움 기반 순위 매기기 전략이, 실제 결함과의 결합도가 높은 변종에 집중함으로써 변종 선택의 효율성을 향상시킬 수 있는가?

주요 결과

• Defects4J 벤치마크에서 맞춤형 변종 연산자는 기존 연산자 대비 실제 결함과의 결합도를 14% 향상시켰다.
• 새로운 변종 연산자는 평균적으로 기존 최고 수준의 기존 연산자 대비 네 배 이상의 변종을 생성하여 확장성 문제를 악화시켰다.
• 위치 선택에 부분모듈러 최적화를 적용함으로써 변종 중복을 줄이고 결함 탐지 효율성을 향상시켰으며, 예산이 정해진 조건에서 실제 결함과 더 밀접하게 연결된 변종을 생성하였다.
• n-gram 언어 모델에서 엔트로피가 낮은 변종을 우선순위에 올리는 자연스러움 기반 순위 매기기가, 결함 탐지 능력을 희생시키지 않고도 관련성이 낮은 변종을 효과적으로 걸러내는 데 성공했다.
• 부분모듈러 위치 선택과 자연스러움 기반 필터링의 조합은 랜덤 선택 전략보다 더 적은 수의 변종으로 더 높은 결함 탐지율을 달성하여 효율성이 향상됨을 입증했다.
• 결과는 맞춤형 변종 연산자가 이전에 발견되지 않은 결함, 특히 식별자와 리터럴 오용과 관련된 결함을 효과적으로 타겟팅할 수 있음을 확인한다. 이러한 결함들은 기존 연산자가 자주 간과하는 영역이다.