[论文解读] Meta Learning MPC using Finite-Dimensional Gaussian Process Approximations

Elena Arcari, Andrea Carron+1 more|arXiv (Cornell University)|Aug 13, 2020

Advanced Control Systems Optimization被引用 7

一句话总结

本文提出了一种基于有限维高斯过程近似的元学习方法，用于自适应模型预测控制（MPC），通过在未见条件下实现快速、数据高效的适应。通过使用核特征函数的Karhunen-Loève展开对动力学进行建模，该方法在离线阶段元训练超参数，并仅通过贝叶斯线性回归在线调整线性系数，实现低复杂度推理，在变化道路条件下对微型赛车控制表现出强泛化能力，且性能接近最优。

ABSTRACT

Data availability has dramatically increased in recent years, driving model-based control methods to exploit learning techniques for improving the system description, and thus control performance. Two key factors that hinder the practical applicability of learning methods in control are their high computational complexity and limited generalization capabilities to unseen conditions. Meta-learning is a powerful tool that enables efficient learning across a finite set of related tasks, easing adaptation to new unseen tasks. This paper makes use of a meta-learning approach for adaptive model predictive control, by learning a system model that leverages data from previous related tasks, while enabling fast fine-tuning to the current task during closed-loop operation. The dynamics is modeled via Gaussian process regression and, building on the Karhunen-Lo{\\`e}ve expansion, can be approximately reformulated as a finite linear combination of kernel eigenfunctions. Using data collected over a set of tasks, the eigenfunction hyperparameters are optimized in a meta-training phase by maximizing a variational bound for the log-marginal likelihood. During meta-testing, the eigenfunctions are fixed, so that only the linear parameters are adapted to the new unseen task in an online adaptive fashion via Bayesian linear regression, providing a simple and efficient inference scheme. Simulation results are provided for autonomous racing with miniature race cars adapting to unseen road conditions.

研究动机与目标

• 为解决数据驱动模型预测控制（MPC）中计算复杂度高和泛化能力有限的挑战。
• 通过在相关任务间进行元学习，实现对未见任务（如道路条件变化）的高效适应。
• 开发一种低复杂度推理方案，通过固定基函数仅在线调整线性系数，避免测试时进行完整的GP回归。
• 将元训练扩展至特征函数无闭式解的情况，通过优化附加超参数（如回归器的输入位置）实现。

提出的方法

• 通过Karhunen-Loève展开，使用核特征函数的有限线性组合近似完整高斯过程（GP）动力学模型。
• 通过在一组相关任务上优化特征函数超参数的变分边界对数边际似然，实现元训练。
• 在元测试阶段固定特征函数，并通过每个时间步的贝叶斯线性回归在线适应仅线性系数。
• 采用序列均值更新规则，结合学习率和噪声方差，实现高效的在线参数适应。
• 当闭式特征函数不可用时，支持对附加超参数（如回归器输入位置）进行优化。
• 在闭环中结合模型预测轮廓控制器（MPCC）与在线参数更新，实现实时控制。

实验结果

研究问题

• RQ1 基于有限维GP近似的元学习框架是否能实现在MPC中对未见控制条件的快速适应？
• RQ2 与精确GP和神经网络基元学习方法相比，所提方法在准确性与计算效率方面的表现如何？
• RQ3 该方法在未见道路条件（如轮胎摩擦变化）下泛化能力如何，且无需重新训练？
• RQ4 在元训练期间对基函数超参数进行优化是否相比固定配置能提升性能？
• RQ5 通过仅在线调整线性系数是否能实现低复杂度推理，同时保持高控制精度？

主要发现

• 所提MMPC方法在第一圈实现约2.5×10⁻²的累积RMSE，与真实MPCC性能相当，且显著优于基线方法。
• 与基于神经网络的元学习方法Alpaca相比，MMPC将可训练参数数量减少约100倍，同时性能相当或更优。
• 该方法在变化抓地力条件下表现出快速适应——在赛道后半程减少36%，轨迹跟踪性能非常接近真实控制器。
• MMPC-GP（在元测试中使用精确GP）与MMPC性能差异极小，表明有限维近似是有效的。
• 在元训练期间对基函数超参数（如输入位置）进行优化，即使元训练为离线进行，仍能提升性能，优于固定配置。
• 仅在线调整线性系数的推理方案确保了计算可行性，适用于嵌入式平台。