[论文解读] Approximation-Refinement Testing of Compute-Intensive Cyber-Physical Models: An Approach Based on System Identification

Claudio Menghi, Shiva Nejati+2 more|arXiv (Cornell University)|Oct 7, 2019

Software Testing and Debugging Techniques参考文献 77被引用 10

一句话总结

该论文提出ARIsTEO，一种针对计算密集型网络物理系统（CI-CPS）模型的新型近似-精炼测试框架，通过系统辨识技术迭代构建并精炼代理模型，从而加速黑盒测试。该方法通过使用更快的代理模型进行测试，并利用虚假失败来精炼模型，相较于S-Taliro在基准模型上实现24%更多的需求违规发现和31%更快的检测速度，并在工业级卫星模型中成功识别出三个S-Taliro未能发现的违规。

ABSTRACT

Black-box testing has been extensively applied to test models of Cyber-Physical systems (CPS) since these models are not often amenable to static and symbolic testing and verification. Black-box testing, however, requires to execute the model under test for a large number of candidate test inputs. This poses a challenge for a large and practically-important category of CPS models, known as compute-intensive CPS (CI-CPS) models, where a single simulation may take hours to complete. We propose a novel approach, namely ARIsTEO, to enable effective and efficient testing of CI-CPS models. Our approach embeds black-box testing into an iterative approximation-refinement loop. At the start, some sampled inputs and outputs of the CI-CPS model under test are used to generate a surrogate model that is faster to execute and can be subjected to black-box testing. Any failure-revealing test identified for the surrogate model is checked on the original model. If spurious, the test results are used to refine the surrogate model to be tested again. Otherwise, the test reveals a valid failure. We evaluated ARIsTEO by comparing it with S-Taliro, an open-source and industry-strength tool for testing CPS models. Our results, obtained based on five publicly-available CPS models, show that, on average, ARIsTEO is able to find 24% more requirements violations than S-Taliro and is 31% faster than S-Taliro in finding those violations. We further assessed the effectiveness and efficiency of ARIsTEO on a large industrial case study from the satellite domain. In contrast to S-Taliro, ARIsTEO successfully tested two different versions of this model and could identify three requirements violations, requiring four hours, on average, for each violation.

研究动机与目标

• 为解决计算密集型网络物理系统（CI-CPS）模型中单次仿真耗时数小时所导致的黑盒测试可扩展性挑战。
• 实现对因仿真时间过长而无法使用传统黑盒测试方法的CI-CPS模型的高效且有效的测试。
• 开发一种结合系统辨识与近似-精炼循环的框架，以减少对昂贵全模型仿真的依赖。
• 在公开基准和工业案例研究中，针对最先进的工具S-Taliro，评估所提方法的有效性与效率。
• 在真实世界复杂CI-CPS模型（如卫星系统）上展示该方法的实际适用性。

提出的方法

• 首先从待测原始CI-CPS模型中采样输入与输出，利用系统辨识技术训练代理模型。
• 代理模型是原始模型的快速近似版本，可高效执行以支持黑盒测试。
• 采用基于适应度的搜索策略对代理模型实施黑盒测试，以识别可能违反需求的候选测试输入。
• 在代理模型中发现的任何揭示失败的测试用例，均在原始模型上重新执行以验证其正确性。
• 若失败为虚假失败（即原始模型中不存在），则使用新数据对代理模型进行精炼以提高准确性。
• 该过程持续迭代，直至发现有效的需求违规或精炼过程收敛，从而确保效率与正确性。

实验结果

研究问题

• RQ1 基于系统辨识的近似-精炼循环是否能有效减少测试计算密集型CPS模型所需的时间？
• RQ2 ARIsTEO在检测需求违规方面的有效性与S-Taliro（最先进的测试工具）相比如何？
• RQ3 ARIsTEO在发现违规方面的效率（以执行时间衡量）与S-Taliro相比如何？
• RQ4 ARIsTEO是否能在S-Taliro失败的工业规模CI-CPS模型中成功检测出需求违规？
• RQ5 代理模型的精炼在多大程度上提升了故障检测的准确性，同时保持性能增益？

主要发现

• 在五个公开可用的CPS模型上，ARIsTEO比S-Taliro多发现23.9%的需求违规。
• 在基准模型上，ARIsTEO平均比S-Taliro快31.3%检测到这些违规。
• 在一项涉及卫星系统的工业案例研究中，ARIsTEO成功识别出三个需求违规，每个平均耗时四小时检测。
• 在相同的四小时时间限制内，S-Taliro未能检测出任何违规。
• 代理模型的生成与精炼过程显著减少了全模型仿真次数，从而提升了整体测试效率。
• ARIsTEO在复杂真实CI-CPS模型上表现出强健性与可扩展性，在有效性与效率方面均优于S-Taliro。