[论文解读] Data-Driven Abstraction-Based Control Synthesis

Milad Kazemi, Rupak Majumdar+3 more|arXiv (Cornell University)|Jun 16, 2022

Formal Methods in Verification被引用 5

一句话总结

本文提出了一种数据驱动方法，用于在未知动力学的连续状态空间系统中进行形式化控制器综合，通过采样轨迹计算增长界，利用鲁棒凸优化实现。该方法对线性时序逻辑规范保证了抽象和控制器综合的概率正确性，样本复杂度边界基于极值理论估计的利普希茨常数得出。

ABSTRACT

This paper studies formal synthesis of controllers for continuous-space systems with unknown dynamics to satisfy requirements expressed as linear temporal logic formulas. Formal abstraction-based synthesis schemes rely on a precise mathematical model of the system to build a finite abstract model, which is then used to design a controller. The abstraction-based schemes are not applicable when the dynamics of the system are unknown. We propose a data-driven approach that computes the growth bound of the system using a finite number of trajectories. The growth bound together with the sampled trajectories are then used to construct the abstraction and synthesise a controller. Our approach casts the computation of the growth bound as a robust convex optimisation program (RCP). Since the unknown dynamics appear in the optimisation, we formulate a scenario convex program (SCP) corresponding to the RCP using a finite number of sampled trajectories. We establish a sample complexity result that gives a lower bound for the number of sampled trajectories to guarantee the correctness of the growth bound computed from the SCP with a given confidence. We also provide a sample complexity result for the satisfaction of the specification on the system in closed loop with the designed controller for a given confidence. Our results are founded on estimating a bound on the Lipschitz constant of the system and provide guarantees on satisfaction of both finite and infinite-horizon specifications. We show that our data-driven approach can be readily used as a model-free abstraction refinement scheme by modifying the formulation of the growth bound and providing similar sample complexity results. The performance of our approach is shown on three case studies.

研究动机与目标

• 实现对具有未知动力学的连续非线性系统的正式控制器综合。
• 仅使用采样轨迹和计算出的增长界构建有限抽象。
• 为抽象的正确性及时间逻辑规范的控制器满足性提供概率保证。
• 将该方法扩展至具有类似理论保证的无模型抽象细化方案。
• 建立增长界准确性和规范满足性的样本复杂度边界。

提出的方法

• 将增长界计算表述为具有无限约束的鲁棒凸规划（RCP），因动力学未知而产生。
• 通过使用有限组采样轨迹的场景凸规划（SCP）近似RCP。
• 利用极值理论估计系统关于初始状态的利普希茨常数的上界。
• 推导SCP解的样本复杂度边界，以在增长界和规范满足性方面达到期望置信度。
• 基于计算出的增长界和采样轨迹构建有限抽象。
• 通过修改增长界公式以迭代改进控制器获胜区域，将该方法嵌入抽象细化循环中。

实验结果

研究问题

• RQ1 如何仅使用采样轨迹，为具有未知动力学的连续系统构建有限抽象？
• RQ2 为在高置信度下保证增长界正确性，需要多少样本？
• RQ3 如何从数据中估计系统的利普希茨常数以实现形式化抽象？
• RQ4 所提出的基于数据的抽象能否用于无模型抽象细化循环，并具备理论保证？
• RQ5 为确保闭环系统以给定置信度满足规范，所需样本数量是多少？

主要发现

• 所提出的基于数据的方法保证了计算出的抽象以高概率覆盖整个状态空间中系统的可达行为。
• 为增长界计算和LTL规范满足性均推导出样本复杂度边界，确保在给定置信水平下的正确性。
• 该方法实现了控制器正确性的完整形式化保证，而不同于以往基于PAC的方法，后者可能无法捕捉关键状态转移。
• 通过所提出的RSA方法合成的控制器获胜域是基于模型方法获胜域的子集，确保了安全性与正确性，但代价是更高的保守性。
• 若直接使用估计的利普希茨常数而不引入偏差项，控制器仅能覆盖基于模型方法获胜域的78.8%，凸显了SCP公式中偏差项的必要性。
• 提高置信参数β可降低样本复杂度，而提高误差容限ε则会迅速减少所需样本数，尽管代价是增长界中的偏差增加。