[논문 리뷰] Practical Model-driven Data Generation for System Testing.

Ghanem Soltana, Mehrdad Sabetzadeh외 1명|arXiv (Cornell University)|2019. 02. 01.

Software Testing and Debugging Techniques인용 수 8

한 줄 요약

이 논문은 시스템 수준 테스트를 위한 복잡한 제약 조건을 충족하는 테스트 데이터를 생성하기 위해 메타휴리스틱 검색과 만족 가능성 모듈로 이론(SMT)을 조합한 하이브리드 모델 기반 접근법을 제안한다. UML/OCL 모델을 활용하고 두 기법의 상호보완적 강점을 활용하기 위해 작업을 위임함으로써, 기존 접근법에 비해 산업 사례 연구에서 더 뛰어난 확장성과 적용 가능성을 달성한다.

ABSTRACT

The ability to generate test data is often a necessary prerequisite for automated software testing. For the generated data to be fit for its intended purpose, the data usually has to satisfy various logical constraints. When testing is performed at a system level, these constraints tend to be complex and are typically captured in expressive formalisms based on first-order logic. Motivated by improving the feasibility and scalability of data generation for system testing, we present a novel approach, whereby we employ a combination of metaheuristic search and Satisfiability Modulo Theories (SMT) for constraint solving. Our approach delegates constraint solving tasks to metaheuristic search and SMT in such a way as to take advantage of the complementary strengths of the two techniques. We ground our work on test data models specified in UML, with OCL used as the constraint language. We present tool support and an evaluation of our approach over three industrial case studies. The results indicate that, for complex system test data generation problems, our approach presents substantial benefits over the state of the art in terms of applicability and scalability.

연구 동기 및 목표

• 시스템 수준 소프트웨어 테스트를 위한 복잡한 제약 조건을 충족하는 테스트 데이터를 생성하는 데 도전하는 것.
• 복잡한 논리적 제약 조건을 가진 산업 규모의 시스템에서 테스트 데이터 생성의 실현 가능성과 확장성을 향상시키는 것.
• 메타휴리스틱 검색과 SMT 해결 기법을 상호보완적으로 통합하여 각각의 기법이 단독으로 가지는 한계를 극복하는 것.
• 현실적인 시스템 모델링을 위해 UML 클래스 다이어그램과 OCL 인variants를 기반으로 한 테스트 데이터 생성을 지원하는 것.
• 실제 산업 사례 연구를 통해 제안된 방법의 실용성과 성능 향상을 입증하기 위해 평가하는 것.

제안 방법

• 구조적 모델로 UML 클래스 다이어그램을 사용하고, 논리적 인variants를 기술하기 위해 OCL를 제약 조건 언어로 사용한다.
• 문제의 특성과 계산 효율성에 따라 제약 조건 해결 작업을 메타휴리스틱 검색과 SMT 솔버 간에 위임한다.
• 메타휴리스틱 검색은 비선형 또는 복잡한 제약 조건이 있는 경우에도 타당한 테스트 데이터 구성의 탐색 공간을 탐색한다.
• SMT 솔버는 이阶 논리와 이론을 포함한 일阶 논리로 표현된 결정 가능 논리적 제약 조건을 효율적으로 검증하고 해결하는 데 사용된다.
• 문제의 난이도에 따라 유연하게 작업을 분배함으로써, 처리 가능한 제약 조건은 SMT에, 복잡한 조합적 부분은 메타휴리스틱에 위탁한다.
• UML/OCL 모델에서 실제 테스트 데이터 인스턴스로의 자동화된 생성 파이프라인을 지원하기 위한 도구를 구현하였다.

실험 결과

연구 질문

• RQ1 메타휴리스틱 검색과 SMT 해결을 조합한 하이브리드 접근법이 시스템 수준 테스트를 위한 복잡한 테스트 데이터를 효과적으로 생성할 수 있는가?
• RQ2 제안된 방법은 기존 접근법에 비해 확장성과 제약 조건 충족 범위 측면에서 어떻게 비교되는가?
• RQ3 메타휴리스틱 검색과 SMT의 상호보완적 강점은 복잡한 실제 테스트 데이터 생성의 실현 가능성을 어느 정도 향상시킬 수 있는가?
• RQ4 이 방법은 산업 환경에서 UML 모델의 OCL로 표현된 복잡한 제약 조건을 다루는 데 얼마나 효과적인가?
• RQ5 다양한 산업 사례 연구에서 이 방법의 성능와 적용 가능성은 어떠한가?

주요 결과

• 제안된 방법은 복잡한 시스템 테스트 데이터 생성의 확장성 측면에서 최신 기술에 비해 뛰어난 성능을 보였다.
• 메타휴리스틱 검색과 SMT의 하이브리드 활용은 조합적 탐색과 결정 가능 논리적 제약 조건을 효과적으로 처리할 수 있게 하였다.
• 모든 세 개의 산업 사례 연구에서 높은 제약 조건 충족 비율을 달성하여 실용적 적용 가능성을 입증하였다.
• UML 및 OCL 모델을 자동 테스트 데이터 생성과 통합한 결과, 현실적인 대규모 시스템 테스트 환경에서 효과적이었다.
• 평가 결과, 순수 SMT 기반 또는 메타휴리스틱 기반 접근법에 비해 테스트 데이터 생성 시간과 성공률에서 뚜렷한 향상이 있었다.
• 특히 복잡한 객체 간 제약 조건을 포함한 시나리오에서, 단일 기법으로는 표현하거나 해결하기 어려운 상황에서 이 방법은 특히 효과적이었다.