[论文解读] Learning Stochastic Parametric Differentiable Predictive Control Policies

Ján Drgoňa, Sayak Mukherjee+3 more|arXiv (Cornell University)|Mar 2, 2022

Advanced Control Systems Optimization被引用 6

一句话总结

本文提出了一种随机参数可微预测控制（SP-DPC）方法，这是一种可扩展的离线学习方法，用于处理具有加性不确定性与非线性机会约束的线性系统的随机模型预测控制。通过将随机最优控制问题的形式化为确定性近似，并利用闭环滚动过程中的自动微分，SP-DPC 实现了通过神经网络进行高效、可微的策略优化，其在线推理速度相比在线非线性 MPC 提高了最多 10 倍，同时保持了对稳定性与约束满足的概率保证。

ABSTRACT

The problem of synthesizing stochastic explicit model predictive control policies is known to be quickly intractable even for systems of modest complexity when using classical control-theoretic methods. To address this challenge, we present a scalable alternative called stochastic parametric differentiable predictive control (SP-DPC) for unsupervised learning of neural control policies governing stochastic linear systems subject to nonlinear chance constraints. SP-DPC is formulated as a deterministic approximation to the stochastic parametric constrained optimal control problem. This formulation allows us to directly compute the policy gradients via automatic differentiation of the problem's value function, evaluated over sampled parameters and uncertainties. In particular, the computed expectation of the SP-DPC problem's value function is backpropagated through the closed-loop system rollouts parametrized by a known nominal system dynamics model and neural control policy which allows for direct model-based policy optimization. We provide theoretical probabilistic guarantees for policies learned via the SP-DPC method on closed-loop stability and chance constraints satisfaction. Furthermore, we demonstrate the computational efficiency and scalability of the proposed policy optimization algorithm in three numerical examples, including systems with a large number of states or subject to nonlinear constraints.

研究动机与目标

• 解决经典随机显式 MPC 在中等复杂度与不确定性系统中的不可行性问题。
• 开发一种可扩展的、基于离线学习的随机参数控制策略方法，能够处理非线性机会约束与加性系统不确定性。
• 通过可微编程与自动微分实现高效的策略优化，避免在部署阶段依赖在线求解器。
• 为学习到的策略提供闭环稳定性与机会约束满足的理论概率保证。
• 展示超越经典参数规划与在线非线性 MPC 求解器的计算效率与可扩展性。

提出的方法

• SP-DPC 通过采样不确定性场景与参数变化，将随机参数最优控制问题形式化为确定性近似。
• 该方法利用自动微分，将 SP-DPC 问题值函数的期望值通过神经控制策略与系统动态进行反向传播。
• 通过已知的名义动力学模型与神经策略模拟闭环系统滚动过程，实现通过可微编程计算梯度。
• 优化过程通过算法 1 在离线状态下完成，该算法对每个场景采样 1000 个参数场景与 100 个不确定性实现，总计 10 万个场景。
• 采用一个包含 4 层 ReLU 的神经网络策略，参数量为 35,140，用于将系统状态与参考轨迹映射为控制动作。
• 目标函数包含对状态与输入偏差、控制能量以及约束违反的二次惩罚，机会约束通过采样场景实现。

实验结果

研究问题

• RQ1 一种可微的、离线学习框架能否有效将随机模型预测控制扩展至具有加性不确定性与非线性约束的系统？
• RQ2 所学习的 SP-DPC 神经策略在在线推理时间方面，与在线非线性 MPC 求解器相比，其计算效率如何？
• RQ3 SP-DPC 方法是否能在不依赖监督数据的情况下，提供闭环稳定性与机会约束满足的严格概率保证？
• RQ4 SP-DPC 在处理复杂控制任务（如不稳定系统的稳定化、随机参考轨迹跟踪以及不确定性下的障碍物避让）方面的能力如何？
• RQ5 采样策略与场景数量对 SP-DPC 策略优化性能与可扩展性有何影响？

主要发现

• SP-DPC 神经策略的平均在线推理时间为 2.555 ms，比在线非线性 MPC 求解器（平均 28.362 ms）快一个数量级。
• 在最坏情况下，SP-DPC 策略比在线 MPC 求解器快 5 倍，其最大推理时间仅为 10.144 ms，而后者为 53.340 ms。
• 通过算法 1 的训练过程耗时 17.47 分钟，共 1000 个周期，证明了大规模场景采样下离线优化的可行性。
• 该方法成功稳定了不稳定系统，实现了随机参考轨迹跟踪，并在不确定性下处理了具有非线性约束的参数化障碍物避让。
• SP-DPC 策略保持了理论推导并经仿真验证的概率约束满足与闭环稳定性保证。
• 该方法超越了经典参数规划求解器的可扩展性，且在实时性能上优于在线求解器，适用于高维或复杂系统。