[论文解读] Learning-based Model Predictive Control for Safe Exploration

Torsten Koller, Felix Berkenkamp+2 more|arXiv (Cornell University)|Mar 22, 2018

Advanced Control Systems Optimization参考文献 29被引用 14

一句话总结

本文提出 SafeMPC，一种基于学习的模型预测控制框架，可在探索未知动力系统时确保高概率的安全性。通过利用具有联合置信区间的高斯过程模型以及终端集约束，该方法递归地保证安全返回轨迹，从而实现高效且安全的学习，且不会违反系统约束。

ABSTRACT

Learning-based methods have been successful in solving complex control tasks without significant prior knowledge about the system. However, these methods typically do not provide any safety guarantees, which prevents their use in safety-critical, real-world applications. In this paper, we present a learning-based model predictive control scheme that can provide provable high-probability safety guarantees. To this end, we exploit regularity assumptions on the dynamics in terms of a Gaussian process prior to construct provably accurate confidence intervals on predicted trajectories. Unlike previous approaches, we do not assume that model uncertainties are independent. Based on these predictions, we guarantee that trajectories satisfy safety constraints. Moreover, we use a terminal set constraint to recursively guarantee the existence of safe control actions at every iteration. In our experiments, we show that the resulting algorithm can be used to safely and efficiently explore and learn about dynamic systems.

研究动机与目标

• 解决基于学习的控制方法缺乏安全性保证的问题，这限制了其在现实世界安全关键应用中的使用。
• 克服乐观探索策略的局限性，后者在系统学习过程中可能导致不安全行为。
• 开发一种模型预测控制方案，确保在模型不确定性下安全轨迹的递归可行性。
• 利用统计学习理论和高斯过程模型中的不确定性传播，提供形式化、高概率的安全保证。
• 通过自适应时间 horizon 选择和性能轨迹规划，平衡信息增益与安全性，实现高效探索。

提出的方法

• 使用高斯过程（GP）先验来建模未知的系统动力学，其中包含已知的先验均值函数 h(x,u) 和服从 GP 分布的误差项 g(x,u)。
• 使用一种新颖的不确定性传播方法，将 GP 模型的置信区间向前推进至未来时间，该方法考虑了时间依赖性，并提供真实轨迹分布的椭球形上界近似。
• 利用统计学习理论在轨迹上构建联合置信区间，确保在所有时间步上真实系统动力学以高概率被包含在内。
• 将不确定性传播与约束 MPC 集成，同时施加状态和控制约束，并通过终端集约束确保递归可行性。
• 采用性能轨迹规划机制，利用均值等效的不确定性传播引导探索，最大化预测不确定性的同时最小化与安全轨迹的偏离。
• 在运行过程中迭代更新 GP 模型，通过新收集的观测数据提升模型精度和控制性能，同时保持安全性。

实验结果

研究问题

• RQ1 基于学习的 MPC 框架是否能在不了解系统先验知识的情况下，在系统探索过程中提供可证明的、高概率的安全保证？
• RQ2 如何在非线性、非高斯系统中，利用 GP 模型可靠地将模型不确定性传播至多个时间步？
• RQ3 时间 horizon 长度对安全学习环境中探索效率和信息增益的影响是什么？
• RQ4 性能轨迹规划是否能提升探索效率，同时保持安全约束？
• RQ5 终端集约束如何促进控制策略的递归可行性和长期安全性？

主要发现

• SafeMPC 通过基于 GP 模型推导出的轨迹联合置信区间，成功在整个学习过程中维持了高概率的安全保证。
• 该算法实现了对未知系统的高效探索，信息增益在时间 horizon T=4 时达到最高，优于更短或更长的 horizon。
• 在无系统重置的动态探索中，引入性能轨迹规划机制相比标准 SafeMPC 显著提升了信息增益。
• 当 horizon 更长（T=5）时，互信息增益趋于饱和的速度更慢，表明由于长时间跨度的不确定性传播，初始探索信息量更少。
• 该方法通过避免不安全动作，在保持高数据效率和快速学习的同时，优于标准的乐观探索策略。
• 自适应 horizon 选择或可变 horizon MPC 可进一步提升性能，尤其是在互信息开始趋于饱和时。