[论文解读] On Training and Evaluation of Neural Network Approaches for Model Predictive Control

Rebecka Winqvist, Arun Venkitaraman+1 more|arXiv (Cornell University)|May 8, 2020

Advanced Control Systems Optimization参考文献 24被引用 5

一句话总结

该论文提出了一套系统化的框架，用于使用带有可微优化层的约束深度网络来训练和评估基于神经网络的模型预测控制（MPC）。通过在可微投影层中整合显式MPC约束，并采用hit-and-run采样器实现高维输入空间的高效采样，该方法实现了稳定且可行的控制律，在2D和4D系统上通过NMSE和控制成本指标验证了其在泛化性能方面优于黑盒网络。

ABSTRACT

The contribution of this paper is a framework for training and evaluation of Model Predictive Control (MPC) implemented using constrained neural networks. Recent studies have proposed to use neural networks with differentiable convex optimization layers to implement model predictive controllers. The motivation is to replace real-time optimization in safety critical feedback control systems with learnt mappings in the form of neural networks with optimization layers. Such mappings take as the input the state vector and predict the control law as the output. The learning takes place using training data generated from off-line MPC simulations. However, a general framework for characterization of learning approaches in terms of both model validation and efficient training data generation is lacking in literature. In this paper, we take the first steps towards developing such a coherent framework. We discuss how the learning problem has similarities with system identification, in particular input design, model structure selection and model validation. We consider the study of neural network architectures in PyTorch with the explicit MPC constraints implemented as a differentiable optimization layer using CVXPY. We propose an efficient approach of generating MPC input samples subject to the MPC model constraints using a hit-and-run sampler. The corresponding true outputs are generated by solving the MPC offline using OSOP. We propose different metrics to validate the resulting approaches. Our study further aims to explore the advantages of incorporating domain knowledge into the network structure from a training and evaluation perspective. Different model structures are numerically tested using the proposed framework in order to obtain more insights in the properties of constrained neural networks based MPC.

研究动机与目标

• 开发一种标准化、系统化的框架，用于训练和评估基于神经网络的MPC方法。
• 解决基于学习的MPC中数据生成、模型验证和性能评估缺乏一致方法的问题。
• 探讨将领域知识（特别是MPC约束）嵌入神经网络架构中，如何改善学习与控制性能。
• 比较具有嵌入约束的结构感知神经网络（带约束架构）与黑盒架构在准确性、稳定性和泛化能力方面的表现。
• 利用统计采样技术实现高维状态空间中高效可扩展的训练数据生成。

提出的方法

• 在基于PyTorch的神经网络框架中，使用CVXPY将MPC约束实现为可微投影层。
• 采用hit-and-run采样器从不变集𝒞∞中高效生成训练数据，实现在高维状态空间中的均匀覆盖。
• 通过离线求解MPC问题（使用OSQP）生成真实最优控制输入，确保训练的真值标签。
• 训练基于ReLU的神经网络，将状态（和可选的模型参数）映射到控制输入，其中投影层确保递归可行性。
• 通过测试数据上的归一化均方误差（NMSE）和闭环轨迹上的归一化控制成本来评估性能。
• 应用基于梯度的输入设计与分析，以提高数据效率和模型鲁棒性。

实验结果

研究问题

• RQ1 如何在考虑数据生成、模型结构和验证的前提下，建立一套一致的基于神经网络的MPC训练与评估框架？
• RQ2 通过可微投影层嵌入显式MPC约束，对所学控制策略的泛化能力和稳定性有何影响？
• RQ3 在NMSE和控制成本方面，具有约束感知架构的结构感知神经网络与黑盒网络相比表现如何？
• RQ4 在高维状态空间中，生成MPC训练数据的最高效且统计上可靠的方法是什么？
• RQ5 能否利用MPC映射中的梯度信息来提升输入采样和模型训练效率？

主要发现

• hit-and-run采样器即使在高维系统中也能实现对不变集𝒞∞的高效且均匀的采样，在可扩展性上优于基于网格的方法。
• 嵌入可微投影层的神经网络相比黑盒网络显著降低了NMSE（例如降低10–20%），尤其在训练数据有限时表现更优。
• 采用约束感知架构学习的控制律在500–1000条轨迹中表现出更低的归一化控制成本（Jₙ），表明闭环性能更优。
• 在网络结构中包含MPC约束可确保递归可行性和渐近稳定性，而这些在黑盒模型中无法保证。
• 训练数据生成的计算开销高于网络训练，凸显了采用hit-and-run等高效采样策略的必要性。
• 该框架在训练数据量与近似精度之间表现出明确的权衡，4D示例中样本数超过约7000后性能趋于饱和。