[논문 리뷰] A Family of Simulation Criteria to Guide DEVS Models Validation Rigorously, Systematically and Semi-Automatically

Diego A. Hollmann, Maximiliano Cristiá외 1명|arXiv (Cornell University)|2014. 06. 26.

Simulation Techniques and Applications참고 문헌 38인용 수 1

한 줄 요약

이 논문은 DEVS 모델의 수학적 구조를 분석하여 형식적이고 체계적이며 부분 자동화된 시뮬레이션 기준 가족을 제안한다. 상태 변수, 입력 이벤트, 시간 간격 기반의 분할 기준을 적용함으로써, 검증 커버리지를 크게 향상시키고 전문가의 직관에 의존하는 것을 최소화하는 최소한의 포괄적 테스트 시나리오 세트를 생성한다. 이는 검증 과정의 부분 자동화를 가능하게 한다.

ABSTRACT

The most common method to validate a DEVS model against the requirements is to simulate it several times under different conditions, with some simulation tool. The behavior of the model is compared with what the system is supposed to do. The number of different scenarios to simulate is usually infinite, therefore, selecting them becomes a crucial task. This selection, actually, is made following the experience or intuition of an engineer. Here we present a family of criteria to conduct DEVS model simulations in a disciplined way and covering the most significant simulations to increase the confidence on the model. This is achieved by analyzing the mathematical representation of the DEVS model and, thus, part of the validation process can be automatized.

연구 동기 및 목표

• DEVS 모델 검증을 위한 대표성 있는 시뮬레이션 설정을 선정하는 데 있어 주로 주관적 또는 직관적으로 이루어지는 과제를 해결하기 위해.
• 경험적 선택 방식을 형식적이고 수학적으로 기반한 기준으로 대체하여 심각한 오류 케이스를 간과할 위험을 줄이기 위해.
• DEVS 모델의 수학적 표현에서 직접 시뮬레이션 설정을 유도함으로써 검증 과정의 부분 자동화를 가능하게 하기 위해.
• 포괄적인 시뮬레이션을 수행하지 않더라도 핵심 행동 시나리오 커버리지를 확보하여 시뮬레이션 결과에 대한 신뢰도를 향상시키기 위해.
• DEVS 모델을 후속 소프트웨어 구현 및 테스트를 위한 형식적 명세로 활용하는 데 지원하기 위해.

제안 방법

• 예를 들어, 투입된 금액, 기계 상태 등의 상태 변수에 도메인 분할을 적용하여 초기 상태의 동치 클래스를 생성하기 위해.
• 가능한 입력의 집합과 그 시간적 특성, 포함된 빈도 이벤트(τ)를 기반으로 입력 이벤트 분할을 정의하기 위해.
• 예를 들어 it, ot, e 등의 핵심 시간 변수와 [0, it], [it, ot], [ot, it]와 같은 중요한 시간 간격을 기반으로 시간 분할을 생성하기 위해.
• 논리적 결합을 통해 분할을 조합하여 서로 다른 행동 시나리오를 나타내는 복합 시뮬레이션 설정 클래스(SCC)를 생성하기 위해.
• 수득된 SCC를 형식적 시뮬레이션 테스트 케이스로 사용하여 모델 실행을 이끌고 기대되는 행동과 비교하기 위해.
• 시뮬레이션 출력을 추상화하고 요구사항과 비교하여 이질성을 탐지함으로써 오라클 문제를 체계적으로 해결하기 위해.

실험 결과

연구 질문

• RQ1 전문가의 직관에 의존하지 않고 DEVS 모델의 시뮬레이션 설정을 체계적이고 엄밀하게 선택하는 방법은 무엇인가?
• RQ2 DEVS 모델의 수학적 구조에서 유도할 수 있는 형식적 기준은 무엇이며, 행동 시나리오의 포괄적 커버리지를 보장하는가?
• RQ3 DEVS 모델의 검증 과정을 수학적 표현 분석을 통해 얼마나 부분 자동화할 수 있는가?
• RQ4 수득된 시뮬레이션 테스트 케이스는 DEVS 모델에서 파생된 소프트웨어 구현 테스트에 어떻게 재사용할 수 있는가?
• RQ5 이 방법을 결합된 DEVS 모델 및 기타 형식론으로 일반화하기 위해 필요한 확장은 무엇인가?

주요 결과

• 제안된 기준은 유한하고 중복되지 않는 시뮬레이션 설정 세트를 생성하여 핵심 행동 시나리오를 커버함으로써, 비공식적 테스트의 필요성을 크게 줄였다.
• 상태, 입력 및 시간 변수의 분할을 조합함으로써, 예를 들어 투입된 금액이 음료 가격보다 낮을 경우와 같은 이전에 간과된 오류 케이스를 식별할 수 있었다.
• 이 방법은 모델의 수학적 표현에서 직접 테스트 케이스를 체계적으로 도출할 수 있게 하여 재현 가능성 향상과 인간의 편향 감소에 기여한다.
• 이 방법은 검증의 부분 자동화를 지원하여 DEVS 모델을 분석하고 시뮬레이션 테스트 세트를 생성하는 도구 개발의 길을 열어준다.
• 이 프레임워크는 DEVS 모델에서 파생된 소프트웨어 구현을 위한 테스트 케이스 생성에 확장 가능하여 모델 기반 테스트를 지원한다.