[논문 리뷰] A Survey of Constrained Combinatorial Testing

Huayao Wu, Changhai Nie외 3명|arXiv (Cornell University)|2019. 08. 07.

Software Testing and Debugging Techniques참고 문헌 141인용 수 13

한 줄 요약

이 종합 검토는 1987년에서 2018년 사이에 발표된 129篇의 논문을 검토하여 제약 조건이 있는 조합 테스팅(CT)에 대한 종합적인 분석을 제공한다. 기법을 제약 조건 식별, 처리, 유지보수로 분류하며, CT 연구에서 약 30–32%만이 제약 조건을 통합하고 있음을 확인하여 실제 적용 가능성에 심각한 격차가 있음을 드러내며, 소프트웨어 테스팅 분야에서 더 자동화되고 효율적이며 통합된 제약 조건 처리 솔루션이 필요하다고 주장한다.

ABSTRACT

Combinatorial Testing (CT) is a potentially powerful testing technique, whereas its failure revealing ability might be dramatically reduced if it fails to handle constraints in an adequate and efficient manner. To ensure the wider applicability of CT in the presence of constrained problem domains, large and diverse efforts have been invested towards the techniques and applications of constrained combinatorial testing. In this paper, we provide a comprehensive survey of representations, influences, and techniques that pertain to constraints in CT, covering 129 papers published between 1987 and 2018. This survey not only categorises the various constraint handling techniques, but also reviews comparatively less well-studied, yet potentially important, constraint identification and maintenance techniques. Since real-world programs are usually constrained, this survey can be of interest to researchers and practitioners who are looking to use and study constrained combinatorial testing techniques.

연구 동기 및 목표

• 제약 조건이 처리되지 않아 실제 시스템에 조합 테스팅이 널리 채택되지 않는 문제를 해결하기 위해.
• CT 연구에서 제약 조건 식별, 처리 및 유지보수 기법을 체계적으로 분류하고 분석하기 위해.
• CT 문헌에서 제약 조건 인식 기법이 여전히 부족하게 다루지고 있음을 강조하기 위해. 실제로 약 30–32%의 연구만이 제약 조건을 통합하고 있음.
• 반복적 개발 과정에서 모델의 진화가 이루어지는 동안 자동화된 제약 조건 처리, 식별 및 유지보수에 대한 열린 과제를 규명하기 위해.
• 기존 연구를 통합하고 제약 조건 식별 및 유지보수의 격차를 드러내어 향후 연구의 기초를 마련하기 위해.

제안 방법

• 1987년에서 2018년 사이에 발표된 조합 테스팅 관련 129편의 연구 논문을 수집하고 분석하였다.
• 연구를 제약 조건 식별, 제약 조건 처리, 제약 조건 유지보수의 세 가지 범주로 분류하였다.
• 부울 논리, 금지된 튜플, 격자 기반 의미론과 같은 제약 조건 표현 방식을 검토하였다.
• 제약 조건 솔버, 최소 금지 튜플, 모델 기반 검증과 같은 제약 조건 처리 기법을 평가하였다.
• SMT 솔버와 의미적 차이 탐지 기반 전략을 활용하여 모델 진화 과정에서의 제약 조건 유지보수 전략을 평가하였다.
• 진화하는 테스트 모델에서 문법적 및 의미적 차이를 탐지하기 위한 표준 표현 방식과 알고리즘을 제안하였다.

실험 결과

연구 질문

• RQ1 조합 테스팅에서 제약 조건을 모델링하는 데 주로 사용되는 표현 방식은 무엇인가?
• RQ2 제약 조건은 조합 테스트 셋 생성의 효과성과 효율성에 어떤 영향을 미치는가?
• RQ3 현재 CT에서 제약 조건 식별, 처리 및 유지보수를 위한 최첨단 기법은 무엇인가?
• RQ4 제약 조건 처리가 핵심적인 역할을 하므로에도 불구하고, 왜 CT 연구 및 실무에서 여전히 활용이 부족한가?
• RQ5 반복적 개발 과정에서 모델 진화가 이루어지는 동안 제약 조건 유지보수의 열린 과제는 무엇인가?

주요 결과

• 2018년까지 발표된 CT 테스트 셋 생성 연구 중 약 32%만이 제약 조건 처리 기법을 통합하였다.
• 2014년 기준으로 조사된 75개의 도구 중 절반 이상이 어떤 제약 조건 처리 기법도 구현하지 않아 실무에서의 광범위한 忽视 를 시사한다.
• 제약 조건 처리 기법은 수동적 모델 수정에서부터 자동화된 솔버 및 최소 금지 튜플 접근법에 이르기까지 다양하다.
• SMT 솔버를 활용한 자동화된 제약 조건 식별 및 검증은 테스트 모델 내의 모순 및 중복 제약 조건을 탐지할 수 있다.
• 격자 기반 의미론은 값이나 제약 조건이 변경될 때 의미적 일관성을 유지함으로써 모델 진화를 향상시킨다.
• 테스트 모델과 구현 간의 호환성 오류를 복구하기 위한 기법은 존재하지만, 문헌에서 아직 충분히 탐색되지 않은 상태이다.