[논문 리뷰] A Taxonomic Review of Adaptive Random Testing for Numeric Programs

Jinfu Chen, Hilary Ackah-Arthur외 2명|arXiv (Cornell University)|2019. 09. 24.

Software Testing and Debugging Techniques참고 문헌 145인용 수 1

한 줄 요약

이 논문은 수치 프로그램을 위한 적응형 랜덤 테스팅(ART)에 대한 분류 검토를 제시하며, 54개의 ART 방법을 그들의 동기, 전략, 결과에 따라 분류한다. 연구 진전이 두드러지지만, ART의 산업적 적용 가능성과 랜덤 테스팅을 초월한 실패 탐지 효과성을 높이기 위해 더 많은 실증 연구가 필요하다는 점을 강조한다.

ABSTRACT

Random testing (RT) is a black-box software testing technique that tests programs by generating random test inputs. It is a widely used technique for software quality assurance, but there has been much debate by practitioners concerning its failure-detection effectiveness. However, RT is argued to be possibly less effective by some researchers as it does not utilize any information about the program under test. Efforts to mainly improve the failure-detection capability of RT, have led to the proposition of Adaptive Random Testing (ART). ART takes advantage of the location information of previous non-fault-detecting test cases to enhance effectiveness as compared to RT. The approach has gained popularity and has a large number of theoretical studies and methods that employ different notions. In this review, our goal is to provide an overview of existing ART methods for numeric programs. We classify and assess existing ART methods with a focus on their motivation, strategy, and findings. The study also discusses several worthy avenues related to ART. The review uses 54 ART papers in several journals, workshops, and conference proceedings. The results of the review show that significant research efforts have been made towards the field of ART, however further empirical studies are still required to make the technique applicable in different test scenarios in order to impact on the industry.

연구 동기 및 목표

• 기존 수치 프로그램을 위한 적응형 랜덤 테스팅(ART) 방법에 대한 체계적 분류를 제공하기 위해.
• 저널, 컨퍼런스, 워크숍에 발표된 54개의 ART 연구에서의 동기, 전략, 실증적 결과를 평가하기 위해.
• ART의 실패 탐지 효과성을 향상시키기 위한 미흡하게 다뤄진 분야와 유망한 연구 방향을 특정하기 위해.
• ART 연구의 현재 상태를 평가하고, 다양한 테스팅 시나리오에서 더 많은 실증적 검증이 필요하다는 점을 부각하기 위해.

제안 방법

• 검토는 수치 프로그램을 중심으로 한 저널, 컨퍼런스, 워크숍에서 발표된 54편의 동료 심사를 통과한 ART 논문을 분석한다.
• ART 방법은 기하학적, 거리 기반, 기울기 기반 접근과 같은 기초 전략에 따라 분류된다.
• 각 방법의 동기 평가를 수행하며, 기존의 랜덤 테스팅에 비해 실패 탐지 능력을 향상시키기 위한 목적을 포함한다.
• 주제 분석을 통해 전략을 비교하고 이론적 기초를 평가하며, 다양한 접근 간 공통점과 차이점을 식별한다.
• 연구 간 결과를 통합하여 ART 연구에서의 추세, 한계, 열린 과제를 부각시킨다.

실험 결과

연구 질문

• RQ1 수치 프로그램을 위한 다양한 ART 방법 개발의 주요 동기는 무엇인가?
• RQ2 다양한 ART 전략은 실패 탐지 능력을 향상시키기 위해 테스트 케이스를 선택하는 데 어떻게 다른가?
• RQ3 검토된 54개의 ART 연구에서 보고된 주요 이론적 및 실증적 결과는 무엇인가?
• RQ4 ART의 산업적 도입을 위해 남아 있는 연구 격차와 과제는 무엇인가?

주요 결과

• 수치 프로그램을 위한 ART 분야에서 상당한 연구 노력이 기울여졌으며, 랜덤 테스팅을 초월한 실패 탐지 효과성을 높이기 위한 이론적 방법이 다수 제안되었다.
• 넓은 이론적 발전에도 불구하고, 다양한 테스트 시나리오에서 충분한 실증적 검증이 부족하다는 점이 검토에서 드러났다.
• 많은 ART 방법이 테스트 케이스의 군집을 피하기 위해 기하학적 또는 거리 기반 기준을 활용하지만, 실제 적용에서의 효과성은 아직 충분히 평가되지 않았다.
• 검토는 현재 ART 접근 방식이 주로 수치 입력 도메인에 집중되어 있으며, 복잡하거나 하이브리드 형태의 프로그램 유형에 대한 탐색은 제한되어 있음을 강조한다.
• 이론적 ART 방법과 실질적 소프트웨어 테스팅 응용 간 격차를 메우기 위해 더 많은 실증 연구가 절실하게 필요하다.