[论文解读] Deep Model Predictive Control with Online Learning for Complex Physical Systems

Katharina Bieker, Sebastian Peitz+3 more|arXiv (Cornell University)|May 24, 2019

Advanced Control Systems Optimization参考文献 28被引用 34

一句话总结

作者提出 DeepMPC，一种基于传感器的、数据驱动的 MPC 框架，使用深度 RNN 预测控制相关量，并将其与带有在线更新的 MPC 相结合，以实现对复杂流体流动的实时控制。

ABSTRACT

The control of complex systems is of critical importance in many branches of science, engineering, and industry. Controlling an unsteady fluid flow is particularly important, as flow control is a key enabler for technologies in energy (e.g., wind, tidal, and combustion), transportation (e.g., planes, trains, and automobiles), security (e.g., tracking airborne contamination), and health (e.g., artificial hearts and artificial respiration). However, the high-dimensional, nonlinear, and multi-scale dynamics make real-time feedback control infeasible. Fortunately, these high-dimensional systems exhibit dominant, low-dimensional patterns of activity that can be exploited for effective control in the sense that knowledge of the entire state of a system is not required. Advances in machine learning have the potential to revolutionize flow control given its ability to extract principled, low-rank feature spaces characterizing such complex systems. We present a novel deep learning model predictive control (DeepMPC) framework that exploits low-rank features of the flow in order to achieve considerable improvements to control performance. Instead of predicting the entire fluid state, we use a recurrent neural network (RNN) to accurately predict the control relevant quantities of the system. The RNN is then embedded into a MPC framework to construct a feedback loop, and incoming sensor data is used to perform online updates to improve prediction accuracy. The results are validated using varying fluid flow examples of increasing complexity.

研究动机与目标

• 在高维流体流动中提取低维、主导模式，以在不完全掌握全状态的情况下实现有效控制。
• 开发一个 DeepMPC 架构，预测与控制相关的量，而不是完整状态。
• 使用传感器数据的输入对代理模型进行在线更新，以实时提高预测准确性。
• 在越来越复杂的流动控制场景中展示性能，并评估对混沌动力学的鲁棒性。

提出的方法

• 在预测时域 N 上形成 MPC，利用观测变量 z = f(y) 的代理动力学模型来最小化跟踪误差和控制代价。
• 用一个深度循环神经网络（RNN），由编码器和解码器组成，近似代理动力学以捕捉长期与当前的动力学，使用延迟坐标。
• 离线以三阶段过程训练 RNN：先用条件受限玻尔兹曼机初始化，然后训练一步预测，最后训练 N 步解码器。
• 通过 RNN 在预测时域内进行预测，并通过梯度基优化（如 BFGS）并进行时间反向传播来求解 MPC 问题。
• 通过同化传感器数据实现在线更新，以改进 RNN，减少对全状态信息的依赖。

实验结果

研究问题

• RQ1 使用深度 RNN 代理的控制相关可观测量的 DeepMPC 框架能否在复杂高维流体流动中实现实时性能？
• RQ2 来自传感器数据的在线学习如何在不同动力学状态（层流、准周期、混沌）下影响预测精度和控制性能？
• RQ3 对称性等物理特征在提升数据效率和控制鲁棒性方面扮演了怎样的角色？
• RQ4 预测时域长度和正则化对不同雷诺数下的控制效果有何影响？

主要发现

• DeepMPC 方法在绕柱流动上实现了良好的控制性能，在不同雷诺数下跟踪预定的升力轨迹。
• 对于雷诺数 Re = 100 的单柱，方法实现了有效的周期性控制，抑制自然涡街。
• 在流体钉球配置（三个圆柱）中，随着雷诺数（Re = 100、140、200）的增加，跟踪误差上升，原因在于复杂性和混沌性增强。
• 使用基于对称性的数据增强在 Re = 140 时显著降低跟踪误差，平均值几乎减半，并改善第二个升力信号的控制。
• 在线学习与传感器数据的结合能快速改善跟踪并降低控制成本，展示了反馈环路中的实际在线适应性。
• 该框架在传感器有限的情况下仍然可行，并通过聚焦于控制相关量而非全状态扩展到更高的复杂度，具备进一步鲁棒性增强的潜力。