[论文解读] Constrained Physics-Informed Deep Learning for Stable System Identification and Control of Unknown Linear Systems.

Ján Drgoňa, Aaron Tuor+1 more|arXiv (Cornell University)|Apr 23, 2020

Advanced Control Systems Optimization参考文献 97被引用 6

一句话总结

本文提出了一种约束型物理信息深度学习框架，用于在仅掌握部分动力学知识和使用多目标损失函数的情况下，对未知线性系统实现稳定的状态识别与控制。该方法在系统识别、策略学习和联合学习任务中实现了高样本效率、对不确定性的鲁棒性以及稳定性保证，相较于LQR、LQI和MPC方法，在跟踪性能、鲁棒性和计算效率方面表现更优。

ABSTRACT

This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible. This paper presents a novel data-driven method for learning deep constrained continuous control policies and dynamical models of linear systems. By leveraging partial knowledge of system dynamics and constraint enforcing multi-objective loss functions, the method can learn from small and static datasets, handle time-varying state and input constraints and enforce the stability properties of the controlled system. We use a continuous control design example to demonstrate the performance of the method on three distinct tasks: system identification, control policy learning, and simultaneous system identification and policy learning. We assess the system identification performance by comparing open-loop simulations of the true system and the learned models. We demonstrate the performance of the policy learning methodology in closed-loop simulations using the system model affected by varying levels of parametric and additive uncertainties. We report superior performance in terms of reference tracking, robustness, and online computational and memory footprints compared with classical control approaches, namely LQR and LQI controllers, and with three variants of model predictive control (MPC) formulations and two traditional MPC solution approaches. We then evaluate the potential of simultaneously learning the system model and control policy. Our empirical results demonstrate the effectiveness of our unifying framework for constrained optimal control of linear systems to provide stability guarantees of the learned dynamics, robustness to uncertainty, and high sampling efficiency.

研究动机与目标

• 解决在缺乏完整系统知识的情况下，从有限、静态数据集中学习稳定且鲁棒控制策略与动力学模型的挑战。
• 将系统动力学约束和时变状态/输入约束整合到线性系统的统一深度学习框架中。
• 确保在参数不确定性和加性不确定性下，所学习的系统模型和控制策略具有稳定性和鲁棒性。
• 与经典控制方法和MPC方法相比，实现更高的样本效率以及更低的计算和内存开销。
• 展示在单一统一框架中联合进行系统识别与控制策略学习的可行性与优越性。

提出的方法

• 构建一个多目标损失函数，在训练过程中强制执行已知的系统动力学、时变约束以及稳定性特性。
• 将物理信息神经网络（PINNs）与约束优化相结合，将系统动力学和稳定性条件直接嵌入模型架构中。
• 采用连续控制设计，训练深度神经网络作为统一端到端框架中的系统模型和控制策略。
• 通过嵌入损失函数中的李雅普诺夫型约束来实现稳定性，确保所学习的动力学保持稳定。
• 通过在损失函数中引入系统结构的先验知识，利用小而静态的数据集，提升样本效率。
• 将该框架应用于三项任务：系统识别、控制策略学习以及系统识别与策略学习的联合学习，采用闭环和开环评估方式。

实验结果

研究问题

• RQ1 具有物理信息约束的深度学习框架能否从未知线性系统的少量静态数据集中实现稳定的状态识别？
• RQ2 在不确定性条件下，所提出的方法相较于经典控制方法（LQR、LQI）和MPC变体，在参考信号跟踪和鲁棒性方面表现如何？
• RQ3 该框架在同时学习精确的系统模型和有效的控制策略方面，其联合学习能力在多大程度上能够实现稳定性与约束满足？
• RQ4 将稳定性与约束强制直接嵌入损失函数对模型泛化能力和计算效率有何影响？
• RQ5 该方法在系统动力学中存在不同水平的参数不确定性和加性不确定性时，表现如何？

主要发现

• 所提出方法在高不确定性水平下仍表现出优于LQR、LQI和MPC方法的参考信号跟踪性能。
• 该框架在参数不确定性和加性不确定性下表现出强大的鲁棒性，能在多种测试条件下保持稳定的闭环行为。
• 与传统MPC方法相比，该方法的在线计算和内存开销显著降低，具备实时应用潜力。
• 通过开环仿真验证了系统识别性能，显示真实系统与所学习模型之间高度一致。
• 系统模型与控制策略的联合学习是可行且有效的，框架在整个训练过程中保持了稳定性和约束满足。
• 采用约束型多目标损失函数实现了高样本效率，使得在小样本数据集上也能实现精确的模型与策略学习。