[论文解读] Conformance Testing as Falsification for Cyber-Physical Systems

Houssam Abbas, Bardh Hoxha+4 more|arXiv (Cornell University)|Jan 21, 2014

Formal Methods in Verification参考文献 40被引用 20

一句话总结

本文提出了一种针对信息物理系统（CPS）的符合性测试框架，将符合性视为模型与其实现之间行为距离的定量度量，采用混合时间-空间距离度量方法。该框架将符合性建模为一个优化问题，通过S-Taliro等 falsification 工具求解，实现对实现行为在时间与状态偏差范围内保持的 probabilistic 验证，同时提供对鲁棒性和可扩展至工业规模系统的理论保证。

ABSTRACT

In Model-Based Design of Cyber-Physical Systems (CPS), it is often desirable to develop several models of varying fidelity. Models of different fidelity levels can enable mathematical analysis of the model, control synthesis, faster simulation etc. Furthermore, when (automatically or manually) transitioning from a model to its implementation on an actual computational platform, then again two different versions of the same system are being developed. In all previous cases, it is necessary to define a rigorous notion of conformance between different models and between models and their implementations. This paper argues that conformance should be a measure of distance between systems. Albeit a range of theoretical distance notions exists, a way to compute such distances for industrial size systems and models has not been proposed yet. This paper addresses exactly this problem. A universal notion of conformance as closeness between systems is rigorously defined, and evidence is presented that this implies a number of other application-dependent conformance notions. An algorithm for detecting that two systems are not conformant is then proposed, which uses existing proven tools. A method is also proposed to measure the degree of conformance between two systems. The results are demonstrated on a range of models.

研究动机与目标

• 为解决在 CPS 建模设计（MBD）中，不同保真度模型之间以及模型与其实现之间缺乏可扩展、可计算的符合性度量问题。
• 将符合性定义为系统行为之间的定量距离，同时捕捉时间与空间偏差。
• 利用现有验证工具实现非符合性的自动化检测与符合程度的度量。
• 提供一种具有概率保证的框架，适用于模型知识不完整或近似的工业规模 CPS。
• 在统一、可推广的距离语义下，统一各种应用特定的符合性概念。

提出的方法

• 定义系统轨迹之间的混合 $(\tau, \varepsilon)$-距离，同时考虑时间偏移（$\tau$）与状态空间偏差（$\varepsilon$）。
• 利用度量时序逻辑（MTL）的鲁棒语义，将信号鲁棒性作为符合性的度量，其中更高的鲁棒性表示更强的符合性。
• 将符合性测试建模为优化问题：检查对于给定边界 $(\bar{\tau}, \bar{\varepsilon})$，是否满足 $\mathbf{dist}(M, I) \leq (\bar{\tau}, \bar{\varepsilon})$。
• 使用 S-Taliro 工具进行 falsification，搜索反例（即违反符合性边界的输入信号），从而检测非符合性。
• 将框架应用于模型-模型与模型-实现符合性测试，通过相同的距离语义实现统一处理。
• 通过混合-TSS（时间戳信号）将方法扩展至混合时间连续与离散系统，并证明了鲁棒性关于 $\tau$ 和 $\varepsilon$ 的单调性。

实验结果

研究问题

• RQ1 能否将不同保真度模型之间或模型与其实现之间的符合性有意义地量化为一种距离度量？
• RQ2 对于模型知识不完整的大型工业 CPS，如何高效计算此类距离？
• RQ3 现有 falsification 工具能否被重新用于检测非符合性并度量符合程度？
• RQ4 所提出的距离框架是否能涵盖或泛化现有的应用特定符合性概念？
• RQ5 使用该方法进行符合性概率验证，能提供哪些理论保证？

主要发现

• 所提出的 $(\tau, \varepsilon)$-距离框架提供了一种统一的、定量的符合性度量，能够捕捉系统行为之间的时间与空间偏差。
• 证明了 MTL 公式的鲁棒性在 $\tau$ 和 $\varepsilon$ 上均具有单调性，从而支持高效的优化与基于 falsification 的分析。
• 该框架通过使用 S-Taliro（一种经过验证的 falsification 工具）搜索违反符合性边界的输入信号，成功检测出非符合性。
• 该方法能够度量符合程度，使工程师可以量化实现与模型之间的接近程度。
• 该方法具有可扩展性，适用于工业规模的 CPS，即使缺乏完整的数学模型，也能通过基于信号的分析实现。
• 理论分析证明，该框架可泛化至多种符合性概念，并支持概率验证保证。