[论文解读] Learning Stable Models for Prediction and Control

Giorgos Mamakoukas, Ian Abraham+1 more|arXiv (Cornell University)|May 8, 2020

Model Reduction and Neural Networks被引用 9

一句话总结

本文提出 DISKO（数据驱动的稳定 Koopman 算子识别），通过计算最小二乘解的最近稳定矩阵，强制实现数据驱动 Koopman 模型的稳定性。该方法提升了长期预测精度，确保与系统稳定性的内在一致性，并可通过李雅普诺夫函数实现可证明的稳定控制，已在单摆、四旋翼飞行器和推拉滑块系统上得到验证。

ABSTRACT

This paper demonstrates the benefits of imposing stability on data-driven Koopman operators. The data-driven identification of stable Koopman operators (DISKO) is implemented using an algorithm \cite{mamakoukas_stableLDS2020} that computes the nearest extit{stable} matrix solution to a least-squares reconstruction error. As a first result, we derive a formula that describes the prediction error of Koopman representations for an arbitrary number of time steps, and which shows that stability constraints can improve the predictive accuracy over long horizons. As a second result, we determine formal conditions on basis functions of Koopman operators needed to satisfy the stability properties of an underlying nonlinear system. As a third result, we derive formal conditions for constructing Lyapunov functions for nonlinear systems out of stable data-driven Koopman operators, which we use to verify stabilizing control from data. Lastly, we demonstrate the benefits of DISKO in prediction and control with simulations using a pendulum and a quadrotor and experiments with a pusher-slider system. The paper is complemented with a video: \url{https://sites.google.com/view/learning-stable-koopman}.

研究动机与目标

• 解决学习到的 Koopman 算子通常无法保持底层非线性系统稳定性特性这一关键问题，导致预测发散和控制失败。
• 通过在识别过程中施加稳定性约束，提升基于 Koopman 模型的长期预测精度。
• 建立基函数的正式条件，以确保学习到的 Koopman 算子能够反映系统的真正稳定性特征。
• 开发一种数据驱动方法，利用稳定 Koopman 算子构建非线性系统的李雅普诺夫函数，从而实现可证明的稳定控制。
• 在多种动力系统中，通过仿真与真实实验，展示稳定 Koopman 模型的实际优势。

提出的方法

• 将 Koopman 算子学习表述为最小二乘优化问题，通过最小化预测与实际状态转移之间残差的 Frobenius 范数来求解。
• 应用数值算法计算最小二乘解的最近稳定矩阵，确保所得 Koopman 算子为渐近稳定。
• 推导出任意时间步数下预测误差的闭式表达式，表明稳定性约束可减少长期预测中的误差累积。
• 建立理论条件，说明基函数必须满足何种要求，才能使 Koopman 算子继承原系统在平衡点处的稳定性特性。
• 通过利用其谱特性，从稳定 Koopman 算子中构造李雅普诺夫函数，从而实现对稳定控制策略的正式验证。
• 在仿真（单摆、四旋翼飞行器）和真实实验（推拉滑块系统）中实现 DISKO 框架，以验证预测精度与控制性能。

实验结果

研究问题

• RQ1 与标准识别方法相比，强制在数据驱动 Koopman 算子中引入稳定性，对长期预测精度有何影响？
• RQ2 基函数必须满足何种约束，才能确保学习到的 Koopman 算子保持底层非线性系统的稳定性？
• RQ3 是否可以利用稳定 Koopman 算子构建非线性系统的有效李雅普诺夫函数？若可以，其适用条件是什么？
• RQ4 稳定性强制对从数据中合成稳定控制律的能力有何影响？
• RQ5 所提出的稳定性约束在具有复杂动力学特性的实际机器人系统中表现如何？

主要发现

• 通过推导的公式量化了误差累积，表明在强制稳定性后，Koopman 表示的预测误差在长期预测中增长更缓慢。
• 在平衡点处非零但在其他平衡点处不为零的基函数（例如 $g_k(0,0) \neq 0$）可能导致 Koopman 算子不稳定，因此必须谨慎选择。
• Koopman 算子在对应于仅在特定平衡点处非零的基函数的行上必须具有零元素，表明若强制稳定性，则存在冗余。
• 稳定 Koopman 算子可用来构造有效的李雅普诺夫函数，从而可用于正式验证稳定控制策略。
• DISKO 显著提升了单摆和四旋翼飞行器在长期预测仿真中的精度，优于标准 Koopman 学习方法。
• 该方法在真实推拉滑块系统中成功实现了稳定控制，展示了其在实验环境中的鲁棒性与实际可行性。