[论文解读] Learning Lyapunov Functions for Piecewise Affine Systems with Neural Network Controllers

Shaoru Chen, Mahyar Fazlyab+3 more|arXiv (Cornell University)|Aug 14, 2020

Fault Detection and Control Systems参考文献 73被引用 14

一句话总结

本文提出一种基于迭代学习的方法，用于为由ReLU神经网络控制的离散时间分段仿射（PWA）系统合成二次和分段二次Lyapunov函数。该方法采用基于分析中心切平面法（ACCPM）的学-验框架，其中学习器从采样轨迹中提出Lyapunov候选函数，验证器则利用混合整数规划（MIP）验证或拒绝这些候选函数，并通过反例进行反馈，确保当Lyapunov函数集合在参数空间中为满维时实现有限收敛。

ABSTRACT

We propose a learning-based method for Lyapunov stability analysis of piecewise affine dynamical systems in feedback with piecewise affine neural network controllers. The proposed method consists of an iterative interaction between a learner and a verifier, where in each iteration, the learner uses a collection of samples of the closed-loop system to propose a Lyapunov function candidate as the solution to a convex program. The learner then queries the verifier, which solves a mixed-integer program to either validate the proposed Lyapunov function candidate or reject it with a counterexample, i.e., a state where the stability condition fails. This counterexample is then added to the sample set of the learner to refine the set of Lyapunov function candidates. We design the learner and the verifier based on the analytic center cutting-plane method, in which the verifier acts as the cutting-plane oracle to refine the set of Lyapunov function candidates. We show that when the set of Lyapunov functions is full-dimensional in the parameter space, the overall procedure finds a Lyapunov function in a finite number of iterations. We demonstrate the utility of the proposed method in searching for quadratic and piecewise quadratic Lyapunov functions.

研究动机与目标

• 为解决神经网络控制系统的稳定性与安全性保证不足问题，特别是在安全关键应用中。
• 自动化构建具有ReLU神经网络控制器的PWA系统的非保守Lyapunov函数。
• 开发一种样本高效、基于优化的方法，提供具有有限收敛保证的正式稳定性证书。
• 展示该方法在利用二次和分段二次Lyapunov函数估计大吸引域（ROA）方面的有效性。

提出的方法

• 该方法采用学-验循环机制：学习器通过使用有限组采样闭环轨迹的凸优化，提出Lyapunov函数候选。
• 验证器利用混合整数规划（MIP）检查候选Lyapunov函数是否在整个状态空间满足稳定性条件。
• 若验证器发现反例（即违反Lyapunov条件的状态），则将其返回学习器以改进候选集合。
• 学习器利用分析中心切平面法（ACCPM）更新Lyapunov候选集合，将验证器视为切平面预言机。
• 当有效Lyapunov函数集合在参数空间中为满维时，该算法设计为在有限步内收敛。
• 该方法应用于搜索二次和分段二次Lyapunov函数，并在带有弹性壁的倒立摆系统上评估性能。

实验结果

研究问题

• RQ1 能否通过基于学习的方法高效合成具有ReLU神经网络控制器的PWA系统的Lyapunov函数，同时确保正式稳定性保证？
• RQ2 如何设计学习器与验证器之间的交互机制，以实现在Lyapunov函数合成中的有限收敛？
• RQ3 与二次Lyapunov函数相比，分段二次Lyapunov函数在吸引域（ROA）估计中能将保守性降低到何种程度？
• RQ4 所提出的方法能否处理复杂混合动力学，如机械系统中由接触事件引发的动力学？

主要发现

• 基于ACCPM的算法在10次迭代内实现有限收敛，采用二次Lyapunov函数时，吸引域估计达到参考集合的0.81倍，总求解时间为9.928秒。
• 采用分段二次（PWQ）Lyapunov函数时，算法在9次迭代内终止，吸引域估计达到参考集合的1.0倍，表明保守性降低。
• PWQ函数合成的总求解时间为124.210秒，反映出高阶函数类带来的计算成本增加。
• 模拟的闭环轨迹验证了估计吸引域的正确性与保守性，确认了稳定性证书的有效性。
• 该方法成功认证了闭环系统在原点周围半径为ε=0.0158的球域内渐近稳定。
• 结果表明，与二次函数相比，PWQ Lyapunov函数能提供更少保守性的吸引域估计，凸显了分段结构在Lyapunov分析中的优势。