[논문 리뷰] A Taxonomic Review of Adaptive Random Testing: Current Status, Classifications, and Issues

Jinfu Chen, Hilary Ackah-Arthur외 2명|arXiv (Cornell University)|2019. 09. 24.

Software Testing and Debugging Techniques참고 문헌 147인용 수 6

한 줄 요약

이 논문은 수치 프로그램에서 장애 탐지 효과성을 향상시키기 위한 적응형 랜덤 테스팅(ART)에 대한 종합적인 분류 검토를 제시하며, 109개의 ART 연구를 분류하여 그 동기, 전략, 결과를 분석한다. 이는 이론적 진전이 두드러지지만 산업적 적용성을 높이기 위해 더 많은 경험적 검증이 필요하다는 점을 시사한다.

ABSTRACT

Random testing (RT) is a black-box software testing technique that tests programs by generating random test inputs. It is a widely used technique for software quality assurance, but there has been much debate by practitioners concerning its failure-detection effectiveness. RT is argued to be possibly less effective by some researchers as it does not utilize any information about the program under test. Efforts to mainly improve the failure-detection capability of RT, have led to the proposition of Adaptive Random Testing (ART). ART takes advantage of the location information of previous non-fault-detecting test cases to enhance effectiveness as compared to RT. The approach has gained popularity and has a large number of theoretical studies and methods that employ different notions. In this review, our goal is to provide an overview of existing ART studies. We classify all ART studies and assess existing ART methods for numeric programs with a focus on their motivation, strategy, and findings. The study also discusses several worthy avenues related to ART. The review uses 109 ART papers in several journals, workshops, and conference proceedings. The results of the review show that significant research efforts have been made towards the field of ART, however further empirical studies are still required to make the technique applicable in different test scenarios in order to impact on the industry.

연구 동기 및 목표

• 기존 적응형 랜덤 테스팅(ART) 연구에 대한 체계적인 개요 제공.
• ART 방법을 그 동기, 전략, 결과 기반으로 분류.
• 伝통적 랜덤 테스팅 대비 ART가 장애 탐지 효과성을 향상시키는 현재 상태 평가.
• ART 연구의 격차를 규명하고 소프트웨어 공학 분야에서의 미래 가능성 있는 방향 제안.
• 이론적 및 경험적 연구 분석을 통한 ART의 실용적 적용 가능성 평가.

제안 방법

• 저자는 저널, 컨퍼런스, 워크숍에서 발표된 109篇의 ART 논문에 대한 체계적 문헌 검토를 수행하였다.
• 연구는 그 기반 동기, 테스팅 전략, 설계 접근 방식에 따라 분류되었다.
• 검토는 주로 수치 프로그램을 대상으로 하는 ART 방법에 집중하며, 입력 공간 분할 및 이전에 장애를 탐지하지 못한 테스트 케이스의 사용을 분석한다.
• 주제 분석을 적용하여 위치 정보 및 검색 히우리스틱을 활용하는 ART 기법을 그룹화하였다.
• 연구 방법의 다양성 평가 및 ART 설계 및 구현에서 공통적인 패턴 규명.
• ART 기법의 성숙도 및 한계를 평가하기 위해 구조화된 프레임워크를 사용하였다.

실험 결과

연구 질문

• RQ1 다양한 ART 방법 개발의 주요 동기는 무엇인가?
• RQ2 ART 전략은 입력 공간 분할 및 위치 정보 사용에서 어떻게 다름가?
• RQ3 기존 ART 연구에서 보고된 주요 성과 및 성능 결과는 무엇인가?
• RQ4 특히 경험적 검증 측면에서 현재 ART 연구의 주요 한계와 격차는 무엇인가?
• RQ5 ART의 산업적 도입을 위해 가장 유망한 미래 연구 방향은 무엇인가?

주요 결과

• 총 109개의 ART 연구가 확인되어 분야 내 상당한 이론적 발전을 시사한다.
• 대부분의 ART 방법은 이전에 장애를 탐지하지 못한 테스트 케이스의 위치를 활용하여 장애 탐지 효과성을 향상시키는 데 초점을 맞춘다.
• 강력한 이론적 기반에도 불구하고, 다양한 테스트 시나리오에서 철저한 경험적 평가를 포함한 연구는 소수에 그친다.
• ART 연구 간 표준화된 벤치마크 및 평가 프로토콜의 부재가 확인되었다.
• 이론적 ART 발전과 산업 적용 사이에 뚜렷한 격차가 있으며, 더 많은 실용적 검증이 필요하다.
• 실제 소프트웨어 테스팅 환경에서 ART 성능을 평가하기 위한 비교 경험 연구가 더 필요하다는 점이 강조되었다.