[논문 리뷰] A Random Walk Based Algorithm for Structural Test Case Generation

Jifeng Xuan, He Jiang외 3명|arXiv (Cornell University)|2017. 04. 16.

Software Testing and Debugging Techniques참고 문헌 25인용 수 6

한 줄 요약

이 논문은 구조적 테스트 케이스 생성을 위한 랜덤 워크 기반 알고리즘인 WalkTest를 제안한다. 테스트 생성을 최적화 문제로 정의함으로써, 제어 흐름 의존성 대신 해의 비용을 기반으로 테스트 목표를 우선순위화함으로써 검색 효율성을 향상시키고, 벤치마크 프로그램에서 랜덤 테스트 및 탭우 검색보다 실행 시간을 단축시키고 조건-결정 커버리지를 높이는 데 성공했다.

ABSTRACT

Structural testing is a significant and expensive process in software development. By converting test data generation into an optimization problem, search-based software testing is one of the key technologies of automated test case generation. Motivated by the success of random walk in solving the satisfiability problem (SAT), we proposed a random walk based algorithm (WalkTest) to solve structural test case generation problem. WalkTest provides a framework, which iteratively calls random walk operator to search the optimal solutions. In order to improve search efficiency, we sorted the test goals with the costs of solutions completely instead of traditional dependence analysis from control flow graph. Experimental results on the condition-decision coverage demonstrated that WalkTest achieves better performance than existing algorithms (random test and tabu search) in terms of running time and coverage rate.

연구 동기 및 목표

• 소프트웨어 개발에서 구조적 테스트 케이스 생성의 높은 비용과 복잡성 문제를 해결하기 위해.
• SAT 해결 기법에서 유래한 랜덤 워크 기법을 활용하여 자동화된 테스트 케이스 생성의 효율성을 향상시키기 위해.
• 제어 흐름 그래프 분석에 대한 의존도를 줄이기 위해 테스트 목표의 비용 기반 우선순위 정렬을 도입하기 위해.
• 최적화된 테스트 목표 순서를 통해 검색 효율성과 커버리지 비율을 향상시키기 위해.
• 기존 방법들인 랜덤 테스트 및 탭우 검색과의 성능을 평가하기 위해.

제안 방법

• 알고리즘은 테스트 목표를 만족시켜야 할 제약 조건으로 간주하는 최적화 문제로 구조적 테스트 케이스 생성을 정의한다.
• 테스트 목표를 만족시키기 위해 검색 공간을 반복적으로 탐색하는 데 랜덤 워크 연산자를 사용한다.
• 전통적인 제어 흐름 의존성 대신 해의 해결 비용을 기반으로 테스트 목표를 우선순위 정렬한다.
• 테스트 케이스를 개선하고 커버리지를 향상시키기 위해 반복적으로 랜덤 워크 연산자를 적용한다.
• 비용 기반 정렬을 통해 테스트 목표의 우선순위를 정함으로써 더 유망한 경로로 검색을 이끌어내어 수렴 속도를 향상시킨다.
• 실제 소프트웨어 벤치마크에서 조건-결정 커버리지를 주요 측정 기준으로 사용하여 접근법을 평가한다.

실험 결과

연구 질문

• RQ1 랜덤 워크 기반 접근법이 전통적인 검색 기반 방법보다 구조적 테스트 케이스 생성에서 뛰어난 성능을 보일 수 있는가?
• RQ2 테스트 목표의 비용 기반 우선순위 정렬이 제어 흐름 기반 분석에 비해 검색 효율성을 향상시키는가?
• RQ3 WalkTest는 랜덤 테스트 및 탭우 검색과 비교해 커버리지 비율과 실행 시간 측면에서 어떻게 성능을 내는가?
• RQ4 SAT 해결에서 유래한 랜덤 워크 히우리스틱이 소프트웨어 테스트 생성에 효과적으로 적용될 수 있는가?
• RQ5 테스트 목표 순서가 테스트 케이스 생성의 수렴 속도와 효과성에 어떤 영향을 미치는가?

주요 결과

• 평가된 벤치마크에서 WalkTest는 랜덤 테스트 및 탭우 검색보다 높은 조건-결정 커버리지 비율을 달성했다.
• 기본 방법들보다 평균 실행 시간을 단축시켜 효율성 향상을 보였다.
• 비용 기반 정렬을 통한 테스트 목표 우선순위 정렬이 높은 영향력을 가진 테스트 목표에 집중함으로써 수렴 속도를 높였다.
• 랜덤 워크 연산자의 사용으로 체계적 탐색 없이도 테스트 입력 공간을 효과적으로 탐색할 수 있었다.
• 실험 결과는 제안된 방법이 커버리지 및 성능 지표 모두에서 기존 알고리즘을 능가함을 확인했다.
• 평가 과정에서 다양한 소프트웨어 모듈을 대상으로 하여 프레임워크의 확장성과 강건성을 입증했다.