[논문 리뷰] Complete Test Suites for Input/Output Systems.

Adilson Luiz Bonifácio, Arnaldo Vieira Moura|arXiv (Cornell University)|2019. 02. 07.

Software Testing and Debugging Techniques인용 수 3

한 줄 요약

이 논문은 I/O 라벨 전이 시스템(IOLTSs)에 대한 일반화된 일치 관계를 제안하며, ioco를 포함하고 비동기 모델에 특히 적합한 일반화된 관계를 제공한다. 이 관계는 유한하고 완전한 테스트 셋 생성을 가능하게 하며, 형식적 복잡도 분석을 통한 테스트 생성 메커니즘을 제시한다. ioco 완전성은 특수한 경우임을 보이며, 다양한 장애 모델 제약 조건 하에서 완전한 테스트 셋을 생성하는 계산 비용을 규명한다.

ABSTRACT

Model based testing is a well-established approach to verify implementations modeled by I/O labeled transition systems (IOLTSs). One of the challenges stemming from model based testing is the conformance checking and the generation of test suites, specially when completeness is a required property. In order to check whether an implementation under test is in compliance with its respective specification one resorts to some form of conformance relation that guarantees the expected behavior of the implementations, given the behavior of the specification. The ioco conformance relation is an example of such a relation, specially suited for asynchronous models. In this work we study a more general conformance relation, show how to generate finite and complete test suites, and discuss the complexity of the test generation mechanism under this more general conformance relation. We also show that ioco conformance is a special case of this new conformance relation, and we investigate the complexity of classical ioco-complete test suites. Further, we relate our contributions to more recent works, accommodating the restrictions of their classes of fault models within our more general approach as special cases, and expose the complexity of generating any complete test suite that must satisfy their restrictions.

연구 동기 및 목표

• I/O 시스템의 일치 검증 하에서 완전하고 유한한 테스트 셋을 생성하는 데 도전 과제를 해결하기 위해.
• 기존의 관계들(예: ioco)을 포함하는 더 일반적인 일치 관계를 정의하기 위해, 특히 비동기 모델에 대해.
• 새로운 일치 관계 하에서 테스트 셋 생성의 계산 복잡도를 분석하기 위해.
• 이전의 제약된 장애 모델에 관한 작업들을 통합하고 통일된 더 일반적인 프레임워크 내에서 관련시키기 위해.
• 최근의 장애 모델 클래스에서 제기된 제약 조건을 만족하는 완전한 테스트 셋을 생성하는 데 드는 복잡도를 규명하기 위해.

제안 방법

• IOLTS에서 ioco를 일반화하여 더 넓은 행동 등가성 검사를 允허하는 일반화된 일치 관계를 제안한다.
• 새로운 일치 관계에 기반한 체계적인 테스트 생성 메커니즘을 개발하여 완전성과 유한성을 보장한다.
• 제안된 관계 하에서 테스트 셋 생성의 계산 복잡도를 결정하기 위해 형식적 분석을 적용한다.
• 구조적 및 행동적 등가성 증명을 통해 ioco 일치가 새로운 관계의 특수한 경우임을 입증한다.
• 최근의 장애 모델 제약 조건을 통합하여 그것들이 일반화된 프레임워크의 사례임을 보여준다.
• IOLTS 의미론과 전이 시스템 분석을 활용하여 모든 관측 가능한 행동을 커버하는 테스트 케이스를 유도한다.

실험 결과

연구 질문

• RQ1 I/O 시스템에 대해 ioco를 일반화할 수 있는 더 일반적인 일치 관계를 어떻게 정의할 수 있는가?
• RQ2 새로운 일치 관계 하에서 완전하고 유한한 테스트 셋을 생성하는 데 드는 계산 복잡도는 무엇인가?
• RQ3 ioco 일치는 제안된 일반화된 관계의 특수한 경우로 어떻게 나타나는가?
• RQ4 최근의 장애 모델 클래스에서 제기된 제약 조건들은 제안된 일반화된 프레임워크와 어떤 관계가 있는가?
• RQ5 이전의 장애 모델 클래스의 제약 조건을 만족하는 완전한 테스트 셋을 생성하는 데 드는 복잡도는 무엇인가?

주요 결과

• 제안된 일치 관계는 ioco를 일반화하며, 비동기 IOLTS에 대해 완전한 테스트 셋 생성을 지원한다.
• 테스트 생성 메커니즘이 새로운 일치 관계 하에서 유한하고 완전한 테스트 셋을 생성한다.
• 새로운 관계 하에서 테스트 셋 생성의 계산 복잡도가 형식적으로 분석되고 특성화된다.
• ioco 일치가 제안된 일반화된 일치 관계의 특수한 경우임이 증명된다.
• ioco 완전한 테스트 셋 생성의 복잡도는 보다 광범위한 분석의 일부로 규명된다.
• 최근의 장애 모델 클래스에서 제기된 제약 조건들이 일반화된 프레임워크의 사례임이 입증되었으며, 이에 따른 테스트 셋 생성 복잡도가 유도된다.