[论文解读] Inference of Continuous Linear Systems from Data with Guaranteed Stability

Pawan Goyal, Igor Pontes Duff+1 more|arXiv (Cornell University)|Jan 24, 2023

Model Reduction and Neural Networks被引用 7

一句话总结

该论文提出sLSI方法，通过利用稳定矩阵参数化和避免导数估计的积分公式，从数据中学习连续时间线性动态系统，并保证稳定性。该方法确保所有学习到的系统天然稳定，在长期预测精度上优于标准方法，尽管数据拟合程度相似。

ABSTRACT

Machine-learning technologies for learning dynamical systems from data play an important role in engineering design. This research focuses on learning continuous linear models from data. Stability, a key feature of dynamic systems, is especially important in design tasks such as prediction and control. Thus, there is a need to develop methodologies that provide stability guarantees. To that end, we leverage the parameterization of stable matrices proposed in [Gillis/Sharma, Automatica, 2017] to realize the desired models. Furthermore, to avoid the estimation of derivative information to learn continuous systems, we formulate the inference problem in an integral form. We also discuss a few extensions, including those related to control systems. Numerical experiments show that the combination of a stable matrix parameterization and an integral form of differential equations allows us to learn stable systems without requiring derivative information, which can be challenging to obtain in situations with noisy or limited data.

研究动机与目标

• 开发一种数据驱动的方法，用于学习连续时间线性动态系统，保证稳定性，这是可靠预测和控制的关键要求。
• 克服标准学习方法在拟合噪声或有限数据时产生不稳定模型的挑战。
• 在系统识别中消除导数估计的需求，因为该方法在噪声或稀疏数据场景下容易出错。
• 通过与POD结合实现高维系统的可扩展学习。
• 证明可通过构造方式施加稳定性约束，避免使用特征值或矩阵不等式约束的非凸优化。

提出的方法

• 该方法采用Gillis和Sharma（2017）提出的稳定矩阵参数化，确保所有学习到的系统矩阵在设计上天然稳定。
• 将系统识别问题表述为微分方程的积分形式，避免从噪声数据中估计导数的需求。
• 将识别问题转化为无约束最小二乘优化问题，可通过标准数值求解器高效且可扩展地求解。
• 对于高维系统，该方法结合本征正交分解（POD）将数据投影到低维子空间后再进行学习。
• 在训练和测试过程中，使用Runge-Kutta格式对系统动力学进行数值积分。
• 该框架被扩展至控制系统的应用，并通过适当的参数化支持参数变化。

实验结果

研究问题

• RQ1 能否在不依赖事后约束的情况下，从数据中学习连续时间线性动态系统并保证其稳定性？
• RQ2 当数据具有噪声或稀疏时，如何在系统识别中避免导数估计？
• RQ3 通过矩阵参数化强制稳定性是否能带来比无约束学习更好的长期预测性能？
• RQ4 所提出的方法能否在保持稳定性和准确性的同时扩展到高维系统？
• RQ5 在时域仿真精度方面，该稳定性保证方法与标准方法相比表现如何？

主要发现

• sLSI方法成功学习了保证稳定的连续时间线性系统，所有数值示例中所有特征值均位于左半平面。
• 与标准学习方法（LSI）相比，sLSI即使在数据拟合程度相近的情况下也避免了不稳定模型的出现，防止了长期预测中的失败。
• 在输运流示例中，sLSI实现了稳定特征值并准确模拟了速度场，而LSI产生了不稳定动力学。
• 在Burgers方程示例中，sLSI保持了稳定性，所有特征值位于左半平面，而LSI存在一个不稳定特征值，导致发散行为。
• 时域仿真显示，sLSI在测试初始条件下相对L2误差相比LSI最高可降低两倍。
• 即使在21模态POD子空间投影后，该方法仍保持了高精度，捕获了超过99.9%的系统能量，证明了其在降阶建模中的鲁棒性。