[논문 리뷰] Model-checking Driven Black-box Testing Algorithms for Systems with Unspecified Components

Gaoyan Xie, Zhe Dang|arXiv (Cornell University)|2004. 04. 19.

Software Testing and Debugging Techniques참고 문헌 33인용 수 3

한 줄 요약

이 논문은 형식 검증과 테스팅을 융합하여 구성요소의 사양이 명시되지 않은 시스템의 정확성을 보장하는 모델 체킹 기반 블랙박스 테스팅 접근법을 제안한다. 통신 및 워치독 그래프로 표현된 모델 체킹 조건에서 테스트 케이스를 생성함으로써, 구성요소 소스 코드가 필요 없이 시간적 성질(CTL/LTL)에 대한 신뢰성 있고 완전하며 자동화된 검증이 가능하다.

ABSTRACT

Component-based software development has posed a serious challenge to system verification since externally-obtained components could be a new source of system failures. This issue can not be completely solved by either model-checking or traditional software testing techniques alone due to several reasons: 1) externally obtained components are usually unspecified/partially specified; 2)it is generally difficult to establish an adequacy criteria for testing a component; 3)components may be used to dynamically upgrade a system. This paper introduces a new approach (called {\em model-checking driven black-box testing}) that combines model-checking with traditional black-box software testing to tackle the problem in a complete, sound, and automatic way. The idea is to, with respect to some requirement (expressed in CTL or LTL) about the system, use model-checking techniques to derive a condition (expressed in communication graphs) for an unspecified component such that the system satisfies the requirement iff the condition is satisfied by the component, and which can be established by testing the component with test cases generated from the condition on-the-fly. In this paper, we present model-checking driven black-box testing algorithms to handle both CTL and LTL requirements. We also illustrate the idea through some examples.

연구 동기 및 목표

• 외부에서 확보한 사양이 명시되지 않은 소프트웨어 구성요소를 통합할 때 시스템 정확성을 검증하는 데 도전하는 문제를 해결한다.
• 순수한 모델 체킹(구성요소 세부 정보 필요)과 순수한 블랙박스 테스팅(부분적인 커버리지 및 형식적 보장 없음)의 한계를 극복한다.
• 구성요소 기반 시스템에서 시간 논리 성질(CTL 및 LTL)에 대한 자동화, 완전성, 그리고 타당성 있는 검증을 가능하게 한다.
• 구성요소가 조건을 만족할 경우 시스템 수준의 성질 만족을 보장하는 형식 조건에서 유도된 테스트 케이스를 생성하는 방법을 제공한다.
• 구성요소 행동이 배포 환경에 따라 달라질 수 있는 안전 중심 시스템에서의 동적 업그레이드 및 통합을 지원한다.

제안 방법

• 주어진 CTL 또는 LTL 성질을 만족시키기 위해, 시스템이 만족하는 조건을 형식적으로 유도하기 위해 모델 체킹 기법을 사용한다 (통신 또는 워치독 그래프 형태로 표현).
• 사양이 명시되지 않은 구성요소의 요구되는 행동을, 시스템 사양에서 유도된 유한 상태 그래프 구조(통신/워치독 그래프)로 표현한다.
• 이러한 그래프에 대해 유한 깊이의 중첩된 깊이 우선 탐색을 적용하여 구성요소의 블랙박스 테스팅을 위한 테스트 케이스를 체계적으로 생성한다.
• 유한 깊이에서 도달 가능한 모든 경로를 탐색하여 그래프 표현의 완전성 보장을 통해 조건의 전체 커버리지 보장을 보장한다.
• 테스트 케이스 생성을 실시간 블랙박스 테스팅과 통합하여, 그래프의 동적 정리 및 테스트 결과 재사용을 통해 효율성을 향상시킨다.
• 다중 구성요소, 비동기 통신, 제한된 무한 상태 시스템(예: 타이밍 오토마타)을 다룰 수 있도록 이론을 일반화한다.

실험 결과

연구 질문

• RQ1 모델 체킹은 구성요소 기반 시스템에서 사양이 명시되지 않은 구성요소에 대해 검증 가능한 조건을 어떻게 도출할 수 있는가?
• RQ2 형식적 방법과 블랙박스 테스팅의 조합이 구성요소 소스 코드 접근 없이 시간 논리 성질의 완전하고 타당한 검증을 달성할 수 있는가?
• RQ3 시스템 수준의 정확성을 위해 필요한 구성요소 행동을 인코딩하는 통신 및 워치독 그래프의 구조와 생성 과정은 어떠한가?
• RQ4 유도된 형식 조건의 전체 커버리지를 유지하면서도 테스트 케이스 생성을 효율적이고 확장 가능하게 만들 수 있는가?
• RQ5 이 방법은 다중 사양이 명시되지 않은 구성요소 또는 비동기 상호작용을 갖는 시스템으로 얼마나 넓게 확장 가능한가?

주요 결과

• CTL 및 LTL에 대한 제안된 알고리즘은 타당성과 완전성을 모두 보장하며, 구성요소가 유도된 조건을 만족할 경우 시스템의 시간적 성질 만족이 보장된다.
• LTL의 경우, 사양이 명시되지 않은 구성요소에 입력되는 테스트 케이스의 최대 길이는 $ O(n \cdot m^2) $로 유계이며, 여기서 $ n $은 호스트 시스템의 상태 수이고 $ m $은 구성요소의 상태 수이다.
• CTL의 경우, 테스트 케이스 길이는 $ O(k \cdot n \cdot m^2) $로 유계이며, $ k $는 공식 내 CTL 연산자의 수이다.
• 실시간 그래프 정리 및 결과 캐싱을 통해 중복된 테스트 실행을 줄이는 동적 테스팅을 지원한다.
• 이 방법은 다중 사양이 명시되지 않은 구성요소를 갖는 시스템으로 일반화 가능하며, 타이밍 오토마타와 같은 제한된 무한 상태 모델에 적응할 수 있다.
• 전체 시스템 모델 체킹이 필요 없이 구성요소 테스트 케이스를 생성함으로써, 사양이 명시되지 않은 구성요소를 갖는 실시간 시스템의 검증을 가능하게 한다.