[논문 리뷰] Test Case Generation using Mutation Operators and Fault Classification

R. Jeevarathinam, Antony Selvadoss Thanamani|arXiv (Cornell University)|2010. 02. 10.

Software Testing and Debugging Techniques참고 문헌 21인용 수 4

한 줄 요약

이 논문은 프로그램 실행 트레이스를 기반으로 자동으로 테스트 케이스를 생성하기 위한 돌연변이 테스팅 기반 접근법을 제안한다. 돌연변이 연산자와 결함 분류 기법을 활용하여 테스트 적합도를 향상시키며, 결함이 발생하기 쉬운 코드 영역을 식별하고 타겟팅된 테스트 케이스를 생성함으로써 테스트 케이스의 품질을 향상시킨다. 사례 연구를 통해 결함 탐지 능력 향상이 측정 가능하게 입증되었다.

ABSTRACT

Software testing is the important phase of software development process. But, this phase can be easily missed by software developers because of their limited time to complete the project. Since, software developers finish their software nearer to the delivery time; they dont get enough time to test their program by creating effective test cases. . One of the major difficulties in software testing is the generation of test cases that satisfy the given adequacy criterion Moreover, creating manual test cases is a tedious work for software developers in the final rush hours. A new approach which generates test cases can help the software developers to create test cases from software specifications in early stage of software development (before coding) and as well as from program execution traces from after software development (after coding). Heuristic techniques can be applied for creating quality test cases. Mutation testing is a technique for testing software units that has great potential for improving the quality of testing, and to assure the high reliability of software. In this paper, a mutation testing based test cases generation technique has been proposed to generate test cases from program execution trace, so that the test cases can be generated after coding. The paper details about the mutation testing implementation to generate test cases. The proposed algorithm has been demonstrated for an example.

연구 동기 및 목표

• 소프트웨어 개발에서 시간이 제한된 환경에서 테스트 케이스를 수작업으로 생성하는 데 도전하는 문제를 해결하기 위해 자동 테스트 케이스 생성을 도모한다.
• 돌연변이 연산자와 결함 분류 기법을 활용하여 테스트 케이스의 품질을 향상시킨다.
• 코딩 후 실행 트레이스를 기반으로 테스트 케이스를 생성함으로써 시간이 제한된 상황에서 후기 단계의 테스트를 지원한다.
• 테스트 케이스 설계에 소요되는 수작업의 양을 줄이고 결함 탐지 효과를 높인다.
• 초기 설계 단계와 코딩 후 단계 모두에 적용 가능한 히ュ리스틱 기반 방법을 제공한다.

제안 방법

• 해결책은 소스 코드의 돌연변이 버전을 생성하기 위해 돌연변이 연산자를 사용한다. 이는 잠재적 결함을 시뮬레이션한다.
• 원본 프로그램의 실행 트레이스를 분석하여 코드 경로와 제어 흐름 패턴을 식별한다.
• 결함 분류 기법을 적용하여 돌연변이를 결함 유형과 심각도 기반으로 분류하고, 테스트 케이스 우선순위를 정한다.
• 히ュ리스틱 알고리즘은 고위험 돌연변이 유형에 대응하여 실행 트레이스를 테스트 케이스로 매핑한다.
• 이 방법은 돌연변이를 사망시키는 데 확률이 높은 테스트 케이스를 생성함으로써 테스트 적합도를 향상시킨다.
• 알고리즘은 실제 사례에 적용되어 타당성과 효과성을 입증하였다.

실험 결과

연구 질문

• RQ1 코딩 완료 후 실행 트레이스에서 테스트 케이스를 생성하기 위해 돌연변이 테스팅을 어떻게 적응시킬 수 있는가?
• RQ2 테스트 케이스 생성을 이끄는 데 가장 효과적인 돌연변이 연산자와 결함 분류 기법은 무엇인가?
• RQ3 제안된 방법은 시간이 제한된 개발 주기에서 수작업의 양을 줄이고 결함 탐지 능력을 향상시킬 수 있는가?
• RQ4 실행 트레이스와 돌연변이 분석의 통합이 테스트 케이스 품질에 어떤 영향을 미치는가?
• RQ5 결함 분류의 영향은 생성된 테스트 케이스의 효과성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 코딩 후 실행 트레이스에서 테스트 케이스를 성공적으로 생성하여 수작업 테스트 설계 의존도를 감소시켰다.
• 결함 분류 기법은 고영향도 결함 유형에 대한 테스트 케이스 우선순위를 정함으로써 테스트 효율성을 향상시켰다.
• 돌연변이 연산자의 활용은 소프트웨어 내 잠재적 결함을 탐지할 가능성을 높였다.
• 사례 연구에서 생성된 테스트 케이스가 상당수의 돌연변이를 사망시켰다는 점에서 테스트 적합도 향상이 확인되었다.
• 이 방법은 시간이 제한된 상황에서 후기 단계 소프트웨어 테스팅에 타당하고 실용적인 통합이 가능하다.
• 히ュ리스틱 기반 생성 과정은 개발 오버헤드를 줄이고, 테스트 커버리지 유지 또는 향상에 기여한다.