[논문 리뷰] Synthesizing adaptive test strategies from temporal logic specifications

Roderick Bloem, Robert Könighofer외 2명|arXiv (Cornell University)|2016. 10. 03.

Software Testing and Debugging Techniques참고 문헌 40인용 수 1

한 줄 요약

이 논문은 반응형 시스템에 대해 시간 논리 사양을 활용하여 부분 정보를 고려한 반응형 합성 기법을 이용해 자동으로 적응형 테스트 전략을 합성하는 방법을 제안한다. 이 방법은 단일 발생에서 지속적인 결함에 이르기까지 모든 네 가지 결함 빈도 수준에서 결함을 탐지할 수 있도록 하며, 통제 가능하고 통제 불가능한 시스템 행동 모두에 대한 테스트 커버리지를 보장한다. 이는 산업 규모의 사양에서 효과적으로 검증된 바 있다.

ABSTRACT

Constructing good test cases is difficult and time-consuming, especially if the system under test is still under development and its exact behavior is not yet fixed. We propose a new approach to compute test cases for reactive systems from a given temporal logic specification. The tests are guaranteed to reveal certain simple bugs (like occasional bit-flips) in every realization of the specification and for every behavior of the uncontrollable part of the system's environment. We aim at unveiling faults for the lowest of four fault occurrence frequencies possible (ranging from a single occurrence to persistence). Based on well-established hypotheses from fault-based testing, we argue that such tests are also sensitive for more complex bugs. Since the specification may not define the system behavior completely, we use reactive synthesis algorithms (with partial information) to compute adaptive test strategies that react to behavior at runtime. We work out the underlying theory and present first experiments demonstrating that our approach can be applied to industrial specifications and that the resulting strategies are capable of detecting bugs that are hard to detect with random testing.

연구 동기 및 목표

• 시스템 행동이 완전히 명시되지 않은 초기 개발 단계에서 반응형 시스템에 대한 효과적인 테스트 케이스를 생성하는 데 도전하는 것.
• 환경의 통제 불가능한 행동에 영향을 받지 않도록 테스트 케이스가 결함을 탐지할 수 있도록 보장하여 내구성을 향상시키는 것.
• 런타임 시스템 행동에 동적으로 반응하는 적응형 테스트 전략을 합성하여 결함 탐지 능력을 향상시키는 것.
• 시간 논리 사양에서 유도된 테스트가 단순한 결함(예: 비트 플립) 외에도 복잡한 버그에 민감하게 반응하는지 확인하는 것.
• 실제 산업 사양에 대해 적용 가능성을 입증하고 랜덤 테스팅의 한계를 뛰어넘는 성능을 보여주는 것.

제안 방법

• 목표 시스템 행동과 결함 조건을 시간 논리 사양으로 정의한다.
• 부분 정보를 고려한 반응형 합성을 적용하여 런타임 입력과 시스템 반응에 대응하는 적응형 테스트 전략을 생성한다.
• 이 방법은 잘 정립된 결함 가정을 전제로 하여 단일 발생에서 지속적인 결함에 이르기까지 모든 유형의 결함을 탐지할 수 있도록 한다.
• 모든 사양 구현과 환경 행동에 대해 특정한 단순 결함를 반드시 드러내는 전략을 보장한다.
• 결함 감도 가정을 통합하여 기본 결함를 넘어서 더 복잡한 결함까지 탐지 능력을 확장한다.
• 방법의 확장성과 효과성을 검증하기 위해 산업 규모의 사양을 대상으로 실험을 수행한다.

실험 결과

연구 질문

• RQ1 시간 논리 사양을 사용하여 단일 발생에서 지속적인 결함에 이르기까지 모든 네 가지 결함 빈도 수준에서 결함을 탐지할 수 있는 테스트 전략을 합성할 수 있는가?
• RQ2 시스템 행동이 완전히 명시되지 않은 상황에서 어떻게 적응형 테스트 전략을 합성할 수 있는가?
• RQ3 합성된 테스트가 단순한 비트 플립 외에도 복잡한 결함을 얼마나 잘 탐지하는가?
• RQ4 이 방법은 실제 산업 사양에 효과적으로 적용될 수 있는가?
• RQ5 이 방법은 랜덤 테스팅에 비해 어떻게 더 어려운 결함을 탐지하는 데 뛰어난가?

주요 결과

• 합성된 테스트 전략은 단일 발생에서 지속적인 결함에 이르기까지 모든 네 가지 결함 빈도 수준에서 결함을 탐지할 수 있다.
• 이 방법은 런타임 행동에 대응하는 적응형 전략을 생성하여 통제 불가능한 환경 입력에 대한 강건성을 확보한다.
• 기초적인 결함 외에도 복잡한 결함에 민감하게 반응하는 테스트가 제안된 방법에서 도출되었으며, 이는 기반의 결함 가정 덕분이다.
• 이 방법은 산업 규모의 사양에 적용 가능하여 실용적 타당성을 입증하였다.
• 결과적으로 도출된 테스트 전략은 미세하고 탐지하기 어려운 결함을 탐지하는 데서 랜덤 테스팅을 뛰어넘는 성능을 보였다.
• 실험 결과는 시스템 행동이 부분적으로 정의되지 않은 상황에서도 효과적이고 체계적인 테스트 케이스를 생성할 수 있음을 확인했다.