[论文解读] Contextual Tuning of Model Predictive Control for Autonomous Racing

Lukas P. Fröhlich, Christian Küttel+4 more|arXiv (Cornell University)|Oct 6, 2021

Gaussian Processes and Bayesian Inference参考文献 32被引用 9

一句话总结

本文提出了一种上下文感知的贝叶斯优化框架，利用学习到的动力学模型将环境条件编码为上下文变量，从而加速自主竞速控制器的调优。通过在不同驾驶条件和车辆之间迁移知识，该方法显著缩短了新情境下最优圈速时间的优化时间，已在1:28比例的遥控赛车上完成了超过2,000圈的验证。

ABSTRACT

Learning-based model predictive control has been widely applied in autonomous racing to improve the closed-loop behaviour of vehicles in a data-driven manner. When environmental conditions change, e.g., due to rain, often only the predictive model is adapted, but the controller parameters are kept constant. However, this can lead to suboptimal behaviour. In this paper, we address the problem of data-efficient controller tuning, adapting both the model and objective simultaneously. The key novelty of the proposed approach is that we leverage a learned dynamics model to encode the environmental condition as a so-called context. This insight allows us to employ contextual Bayesian optimization to efficiently transfer knowledge across different environmental conditions. Consequently, we require fewer data to find the optimal controller configuration for each context. The proposed framework is extensively evaluated with more than 3'000 laps driven on an experimental platform with 1:28 scale RC race cars. The results show that our approach successfully optimizes the lap time across different contexts requiring fewer data compared to other approaches based on standard Bayesian optimization.

研究动机与目标

• 为解决环境条件变化（如降雨导致轮胎抓地力下降）时控制器性能下降的问题。
• 通过利用先前实验中的上下文信息，提升控制器调优的样本效率。
• 实现在不同车辆和驾驶情境之间的知识迁移，以减少达到最优调优所需的圈数。
• 首次在机器人领域实现上下文感知贝叶斯优化的硬件部署，采用1:28比例遥控竞速平台进行验证。

提出的方法

• 利用基于历史圈速遥测数据训练的参数化残差动力学模型，将环境条件编码为上下文变量。
• 使用高斯过程代理模型表示目标函数（正则化圈速时间），其超参数具有上下文依赖性。
• 通过利用先前上下文的数据初始化代理模型，应用上下文感知贝叶斯优化来调优MPC控制器权重（Q_adv 和 Q_cont）。
• 每圈重新估计动力学模型，利用新获取的遥测数据，使上下文变量（回归系数）能够适应环境变化。
• 通过在多个上下文的数据上预训练高斯过程代理模型，实现知识迁移，从而在新上下文中加速收敛。
• 该框架在ROS中实现并已开源，支持集成到机器人控制流水线中。

实验结果

研究问题

• RQ1 能否在动力学模型中有效将天气或赛道抓地力等环境条件编码为上下文变量，以支持控制器调优？
• RQ2 与标准贝叶斯优化相比，上下文感知贝叶斯优化在MPC控制器调优中如何提升样本效率？
• RQ3 先前在不同车辆和条件下获得的实验知识，能在多大程度上被迁移以加速新情境下的调优？
• RQ4 低维参数化动力学模型能否可靠地捕捉如降雨导致抓地力下降等环境变化？
• RQ5 在使用上下文调优而非标准调优时，圈速时间优化速度的性能提升如何？

主要发现

• 上下文感知贝叶斯优化通过加速收敛，显著减少了找到最优控制器参数所需的圈数，尤其在调优初期效果明显。
• 通过利用先前实验中预训练的代理模型，该方法在新情境下实现了更快的优化，首次迭代即展现出良好性能。
• 残差动力学模型的回归系数在不同情境下（如干燥与湿滑赛道）可清晰区分，证实其作为上下文描述符的适用性。
• 该框架成功部署于1:28比例遥控竞速赛车上，总计完成超过2,000圈的实车测试。
• 上下文感知贝叶斯优化的开源ROS实现，促进了其在更广泛机器人控制系统的采用与集成。