[论文解读] Learning For Predictive Control: A Dual Gaussian Process Approach

Yuhan Liu, Pengyu Wang+1 more|arXiv (Cornell University)|Nov 7, 2022

Advanced Control Systems Optimization被引用 4

一句话总结

本文提出了一种双高斯过程（DGP）模型预测控制（MPC）框架，结合长期GP以保留历史知识，并结合短期GP实现实时在线自适应，以应对未知或时变动态。该方法实现了高效、抗遗忘的在线学习，通过递归更新显著提升了重复任务中的控制性能，相比基线方法和单GP-MPC方法，跟踪误差在一次迭代后最高可降低90%。

ABSTRACT

An important issue in model-based control design is that an accurate dynamic model of the system is generally nonlinear, complex, and costly to obtain. This limits achievable control performance in practice. Gaussian process (GP) based estimation of system models is an effective tool to learn unknown dynamics directly from input/output data. However, conventional GP-based control methods often ignore the computational cost associated with accumulating data during the operation of the system and how to handle forgetting in continuous adaption. In this paper, we present a novel Dual Gaussian Process (DGP) based model predictive control (MPC) strategy that enables efficient use of online learning based predictive control without the danger of catastrophic forgetting. The bio-inspired DGP structure is a combination of a long-term GP and a short-term GP, where the long-term GP is used to keep the learned knowledge in memory and the short-term GP is employed to rapidly compensate unknown dynamics during online operation. Furthermore, a novel recursive online update strategy for the short-term GP is proposed to successively improve the learnt model during online operation. Effectiveness of the proposed strategy is demonstrated via numerical simulations.

研究动机与目标

• 为解决在线GP-based模型预测控制中的灾难性遗忘问题。
• 实现在不产生数据膨胀的前提下，对时变系统不确定性进行高效、递归的在线学习。
• 通过保留已学习知识并适应新动态，提升重复任务中的控制性能。
• 开发一种可扩展、计算高效的GP-MPC框架，适用于实时实现。
• 展示双GP结构在处理未知和时变动态方面相较于单GP和基线MPC的优越性。

提出的方法

• 设计了一种双GP架构，其中长期GP（LGP）用于存储离线训练获得的历史知识，短期GP（SGP）用于在线自适应。
• 通过一种新颖的在线更新策略，对SGP进行递归更新，以在流式数据下保持模型精度。
• 在在线运行期间，SGP补偿未建模或时变的动力学，而LGP则保留先前学习到的动力学。
• 整体后验分布结合了两个GP，通过利用长期记忆和短期学习，确保系统稳定性和鲁棒性。
• 将该方法集成到模型预测控制框架中，不确定性传播通过概率GP预测处理。
• 推导出一种递归更新规则，可高效更新SGP后验分布，无需从头开始重新训练，从而降低计算成本。

实验结果

研究问题

• RQ1 双GP结构能否有效防止在线GP-based控制中的灾难性遗忘？
• RQ2 长期记忆与短期自适应的结合如何提升重复任务中的控制性能？
• RQ3 递归在线更新对GP模型在动态环境中的精度和收敛性有何影响？
• RQ4 所提出的DGP-MPC相较于单GP和基线MPC在处理时变扰动方面表现如何？
• RQ5 DGP结构能否在计算开销极小的前提下，有效应用于基于在线学习的MPC？

主要发现

• 在第二次迭代后，DGP-MPC在X轴上的跟踪误差降低至0.07×10⁻³，相比基线MPC（3.30×10⁻³）降低了90%。
• 在Y轴上，DGP-MPC将误差从基线的7.71×10⁻³降低至0.04×10⁻³（两次迭代后），表现出强大的学习效率。
• OGP-MPC在前10秒内性能优于DGP-MPC，因其适应速度更快，但DGP-MPC在长期稳定性和知识保留方面表现更优。
• 在恒定风和时变风阶段，DGP结构的估计误差（MSE）均低于OGP和LGP，尤其在任务前半段表现更优。
• 通过保留历史数据，DGP-MPC在重复任务中实现了卓越性能，而OGP-MPC因持续后验更新导致知识衰减。
• 所提出的递归更新策略实现了有效的在线学习，且无数据膨胀，同时保持了计算效率和模型精度。