[论文解读] Formal Requirement Elicitation and Debugging for Testing and Verification of Cyber-Physical Systems

Adel Dokhanchi, Bardh Hoxha+1 more|arXiv (Cornell University)|Jul 8, 2016

Formal Methods in Verification参考文献 28被引用 4

一句话总结

本文提出了一种针对网络物理系统（CPS）的形式化规格调试框架，可检测度量时序逻辑（MITL）和信号时序逻辑（STL）规格中的逻辑不一致。该框架采用自动化验证、冗余检测和空洞检测（特别是针对系统轨迹的信号空洞检测），以早期识别错误，减少测试与验证中的误报。

ABSTRACT

A framework for the elicitation and debugging of formal specifications for Cyber-Physical Systems is presented. The elicitation of specifications is handled through a graphical interface. Two debugging algorithms are presented. The first checks for erroneous or incomplete temporal logic specifications without considering the system. The second can be utilized for the analysis of reactive requirements with respect to system test traces. The specification debugging framework is applied on a number of formal specifications collected through a user study. The user study establishes that requirement errors are common and that the debugging framework can resolve many insidious specification errors.

研究动机与目标

• 解决网络物理系统（CPS）形式化需求中规格错误的问题，此类错误即使在专家中也十分常见。
• 在需求获取阶段识别MITL和STL规格中的逻辑缺陷，如重言式、冗余和空洞。
• 在测试或验证之前实现规格问题的早期检测，以避免无效工作和对系统正确性的错误信心。
• 通过系统轨迹将空洞检测扩展至实时规格，揭示仅靠逻辑分析无法发现的细微规格错误。
• 将调试框架集成至ViSpec工具中，支持工业界与学术界用户开发正确的形式化规格。

提出的方法

• 提出一种针对MITL片段的规格调试算法，用于检查有效性（重言式或不可满足性）、冗余性和空洞性。
• 将LTL空洞检测技术适配至实时MITL规格，实现基于系统信号的空洞分析。
• 通过前件失败变异实现信号空洞检查：对每个公式，生成前件为假的变异版本，并检查原始公式是否仍成立。
• 使用S-TaLiRo工具执行系统仿真，监控轨迹是否符合形式化需求，收集轨迹用于空洞分析。
• 在自动变速器（AT）系统的Simulink模型上应用该调试框架，使用来自真实案例研究的MITL需求。
• 通过比较原始公式与前件失败变异公式满足的信号数量，报告空洞结果，识别空洞满足情况。

实验结果

研究问题

• RQ1 即使具备形式逻辑训练的用户，规格错误（如重言式或空洞）发生的程度如何？
• RQ2 自动化调试技术能否在不依赖系统行为的情况下检测MITL和STL规格中的逻辑不一致？
• RQ3 基于信号的空洞检测在揭示纯逻辑分析无法发现的规格问题方面有多有效？
• RQ4 结合系统轨迹的空洞检测能否提升CPS验证中测试用例生成与 falsification 的质量？
• RQ5 规格调试在减少CPS测试与验证流程中误报方面的实际影响如何？

主要发现

• 即使是有形式逻辑训练经验的用户也犯了关键的规格错误，例如创建了重言式——例如公式 $\varphi=\Diamond_{[0,30]}((v>100)\Rightarrow\Box_{[0,20]}(v>100))$ 是重言式，因此无效。
• 该框架成功检测到在 $\phi^{AT}_1$ 的2000条系统轨迹中，有1989条是空洞的，表明前件从未被满足。
• 对于 $\phi^{AT}_2$，2000条轨迹中有1994条是空洞的，表明规格中的条件极少被触发。
• 空洞分析显示，在 $\phi^{AT}_3$ 的307条轨迹中仅有97条是非空洞的，表明该条件极少或从未被触发。
• 对于 $\phi^{AT}_4$，2000条轨迹中有1996条是空洞的，凸显在仿真过程中前件（v ≥ 80）极少被满足。
• 结果表明，空洞在真实世界的CPS规格中普遍存在，因此自动化检测对于在验证前提升规格质量至关重要。