[论文解读] Differentiable Predictive Control: An MPC Alternative for Unknown Nonlinear Systems using Constrained Deep Learning.

Ján Drgoňa, Karol Kiš+3 more|arXiv (Cornell University)|Nov 7, 2020

Advanced Control Systems Optimization参考文献 65被引用 10

一句话总结

本文提出可微分预测控制（DPC），一种数据驱动的控制方法，能够从系统时间序列数据中端到端学习最优控制策略，而无需已知的动力学模型。通过反向传播通过学习到的动力学模型并利用惩罚法施加约束，DPC在参考信号跟踪性能和计算效率方面优于显式模型预测控制（MPC）和PI控制，且其复杂度呈线性增长，而传统显式MPC则呈指数增长。

ABSTRACT

We present an alternative to model predictive control (MPC) for unknown nonlinear systems in low-resource embedded device settings. The structure of the presented data-driven control policy learning method, Differentiable Predictive Control (DPC), echos the structure of classical MPC, by i) using a prediction model capturing controlled system dynamics, ii) receding horizon optimal control action predictions, and iii) enforcing inequality constraints via penalty methods. However, contrary to MPC, the presented control architecture does not require the system dynamics model to synthesize the control policy. Instead, a dynamics model is learned end-to-end from time-series measurements of the system dynamics in the off-policy setup. The control policy is then optimized via gradient descent by differentiating the closed-loop system dynamics model. The proposed architecture allows to train the control policy to track the distribution of reference signals and handle time-varying inequality constraints. We experimentally demonstrate that it is possible to train generalizing constrained optimal control policies purely based on the observations of the dynamics of the unknown nonlinear system. The proposed control method is applied to a laboratory device in embedded implementation using a Raspberry Pi micro-controller. We demonstrate superior reference tracking control performance compared to classical explicit MPC and a baseline PI controller, and pivotal efficiency gains in online computational demands, memory requirements, policy complexity, and construction. Beyond improved control performance, the DPC method scales linearly compared to exponential scalability of the explicit MPC solved via multiparametric programming, hence, opening doors for applications in nonlinear systems with a large number of variables and fast sampling rates which are beyond the reach of classical explicit MPC.

研究动机与目标

• 开发一种适用于未知非线性系统的控制方法，避免对显式系统模型或复杂在线优化的依赖。
• 通过降低在线计算和内存需求，实现在Raspberry Pi等低资源嵌入式设备上的实时控制。
• 实现可扩展的控制策略学习，确保在变量众多且采样率较高的系统中仍保持高性能。
• 通过端到端可微优化支持时变不等式约束和参考信号跟踪。
• 提供一种替代显式模型预测控制（MPC）的方法，其复杂度随系统维度呈线性增长而非指数增长。

提出的方法

• DPC使用可微分的、端到端训练的动力学模型，基于系统行为的离策略时间序列数据进行训练。
• 通过反向传播穿过闭环动力学模型，利用梯度下降法优化控制策略，实现直接策略学习。
• 采用滚动时域框架预测未来控制动作，类似于经典MPC，但无需在线求解二次规划（QP）问题。
• 通过将惩罚法集成到可微损失函数中，实现不等式约束的软性处理。
• 通过端到端训练，支持对未见过的参考信号和时变约束的泛化。
• 架构设计面向嵌入式系统部署，最大限度减少内存占用和在线计算量。

实验结果

研究问题

• RQ1 是否可以仅从系统观测中学习控制策略，而无需事先了解系统动力学？
• RQ2 通过神经动力学模型进行可微学习，是否能在未知非线性系统中实现优于经典MPC或PI控制器的控制性能？
• RQ3 与因多参数规划导致指数复杂度的显式MPC相比，该方法在系统维度增加时是否具备更高效的可扩展性？
• RQ4 该方法是否能够以数据驱动、端到端可训练的方式处理时变参考信号和约束？
• RQ5 该方法是否可在资源受限的嵌入式平台（如Raspberry Pi）上部署，且在线计算开销极低？

主要发现

• 在实验验证中，DPC在参考信号跟踪性能方面优于经典显式MPC和基线PI控制。
• 与显式MPC相比，DPC在在线计算需求、内存要求和策略复杂度方面均表现出显著的效率提升。
• DPC的复杂度随系统维度呈线性增长，而显式MPC通过多参数规划实现，其复杂度呈指数增长。
• 通过端到端训练，学习到的控制策略能够泛化到未见过的参考信号，并适应时变不等式约束。
• 该方法成功部署于Raspberry Pi微控制器上，证实其在嵌入式实时控制应用中的可行性。
• 可微分动力学学习的使用使得无需解析系统模型即可实现控制策略的基于梯度的优化。