[논문 리뷰] Conformance Testing as Falsification for Cyber-Physical Systems

Houssam Abbas, Bardh Hoxha외 4명|arXiv (Cornell University)|2014. 01. 21.

Formal Methods in Verification참고 문헌 40인용 수 20

한 줄 요약

이 논문은 사이버-물리 시스템(CPS)을 위한 적합성 테스팅 프레임워크를 제안하며, 모델과 그 구현 간 행동 거리의 정량적 측도로 적합성을 다루며, 하이브리드 시간-공간 거리 척도를 사용한다. 적합성은 S-Taliro와 같은 위반 검출 도구를 통해 해결하는 최적화 문제로 공식화되며, 구현 행동이 모델에서 정해진 시간 및 상태 편차 범위 내에 유지됨을 확률적으로 검증할 수 있고, 이는 산업 규모의 시스템에 대해 강건성과 확장성 보장이 있다.

ABSTRACT

In Model-Based Design of Cyber-Physical Systems (CPS), it is often desirable to develop several models of varying fidelity. Models of different fidelity levels can enable mathematical analysis of the model, control synthesis, faster simulation etc. Furthermore, when (automatically or manually) transitioning from a model to its implementation on an actual computational platform, then again two different versions of the same system are being developed. In all previous cases, it is necessary to define a rigorous notion of conformance between different models and between models and their implementations. This paper argues that conformance should be a measure of distance between systems. Albeit a range of theoretical distance notions exists, a way to compute such distances for industrial size systems and models has not been proposed yet. This paper addresses exactly this problem. A universal notion of conformance as closeness between systems is rigorously defined, and evidence is presented that this implies a number of other application-dependent conformance notions. An algorithm for detecting that two systems are not conformant is then proposed, which uses existing proven tools. A method is also proposed to measure the degree of conformance between two systems. The results are demonstrated on a range of models.

연구 동기 및 목표

• 모델 기반 설계(MBD)에서 다양한 정밀도의 모델 간 또는 모델과 그 구현 간 확장 가능하고 계산 가능한 적합성 측도의 부족을 해결하기 위해.
• 적합성을 행동 간 거리의 정량적 측도로 정의하여 시간적 및 공간적 편차를 모두 포괄하기 위해.
• 기존 검증 도구를 활용하여 비적합성의 자동 탐지 및 적합성 정도의 측정을 가능하게 하기 위해.
• 완전하거나 근사적인 모델 지식이 없는 산업 규모의 CPS에 적용 가능한 확률적 보장을 제공하기 위해.
• 다양한 응용 분야에 특화된 적합성 개념들을 하나의 일반화 가능한 거리 기반 의미론으로 통합하기 위해.

제안 방법

• 시간 이동($\tau$)과 상태공간 편차($\varepsilon$)를 모두 고려하는 시스템 궤적 간 하이브리드 $(\tau, \varepsilon)$-거리 정의.
• 메트릭 시간 논리(MTL)의 강건성 의미론을 사용하여 신호 강건도를 적합성 측도로 계산하며, 높은 강건도는 더 강한 적합성을 의미한다.
• 적합성 테스팅을 최적화 문제로 모델링: 주어진 경계 $(\bar{\tau}, \bar{\varepsilon})$ 에 대해 $\mathbf{dist}(M, I) \leq (\bar{\tau}, \bar{\varepsilon})$ 를 확인한다.
• S-Taliro 도구를 활용하여 반례(즉, 적합성 경계를 위반하는 입력 신호)를 탐색함으로써 비적합성 탐지.
• 모델-모델 및 모델-구현 적합성 테스팅을 동일한 거리 의미론을 통해 통일적으로 처리.
• 하이브리드-TSS(Time-Stamped Signals)를 사용하여 연속 및 이산 시간 시스템으로 확장하고, $\tau$ 및 $\varepsilon$ 에 대해 강건도의 단조성 증명.

실험 결과

연구 질문

• RQ1 다양한 정밀도의 모델 간 또는 모델과 그 구현 간 적합성을 의미 있는 거리 측도로 정량화할 수 있는가?
• RQ2 부분적 또는 근사적인 모델 지식이 있는 대규모 산업용 CPS에 대해 이러한 거리 측도를 효율적으로 계산할 수 있는가?
• RQ3 기존의 위반 검출 도구를 비적합성 탐지 및 적합성 정도 측정에 재사용할 수 있는가?
• RQ4 제안된 거리 프레임워크가 기존의 응용 분야에 특화된 적합성 개념들을 포함하거나 일반화하는가?
• RQ5 이 방법을 사용한 적합성의 확률적 검증에 대해 어떤 이론적 보장이 제공될 수 있는가?

주요 결과

• 제안된 $(\tau, \varepsilon)$-거리 프레임워크는 행동 간 시간적 및 공간적 편차를 모두 포괄하는 통합적이고 정량적인 적합성 측도를 제공한다.
• MTL 공식의 강건도가 $\tau$ 및 $\varepsilon$ 에 대해 단조적임이 입증되어 효율적 최적화 및 위반 검출 기반 분석이 가능하다.
• S-Taliro와 같은 검증 도구를 활용하여 적합성 경계를 위반하는 입력 신호를 탐색함으로써 비적합성 탐지에 성공하였다.
• 이 방법은 구현이 모델에 얼마나 가까이 부합하는지 정량화할 수 있는 적합성 정도 측정이 가능하게 한다.
• 수학적 모델이 완전하지 않은 경우에도 신호 기반 분석에 기반하여 확장 가능하고 산업용 CPS에 적용 가능한 것으로 나타났다.
• 이론적 분석을 통해 프레임워크가 다양한 적합성 개념으로 일반화 가능하고, 확률적 검증 보장을 지원함을 증명하였다.