[论文解读] Bayesian Optimization with Safety Constraints: Safe and Automatic Parameter Tuning in Robotics

Felix Berkenkamp, Andreas Krause+1 more|arXiv (Cornell University)|Feb 14, 2016

Gaussian Processes and Bayesian Inference被引用 26

一句话总结

该论文提出SafeOpt-MC，一种贝叶斯优化框架，可在多个独立的安全约束下实现机器人控制参数的安全、自动调优。通过利用高斯过程先验和概率安全保证，该算法在优化过程中确保不会出现不安全的参数评估，以高概率收敛至安全参数区域内的最优性能，已在四旋翼飞行器上得到验证。

ABSTRACT

Robotic algorithms typically depend on various parameters, the choice of which significantly affects the robot's performance. While an initial guess for the parameters may be obtained from dynamic models of the robot, parameters are usually tuned manually on the real system to achieve the best performance. Optimization algorithms, such as Bayesian optimization, have been used to automate this process. However, these methods may evaluate unsafe parameters during the optimization process that lead to safety-critical system failures. Recently, a safe Bayesian optimization algorithm, called SafeOpt, has been developed, which guarantees that the performance of the system never falls below a critical value; that is, safety is defined based on the performance function. However, coupling performance and safety is often not desirable in robotics. For example, high-gain controllers might achieve low average tracking error (performance), but can overshoot and violate input constraints. In this paper, we present a generalized algorithm that allows for multiple safety constraints separate from the objective. Given an initial set of safe parameters, the algorithm maximizes performance but only evaluates parameters that satisfy safety for all constraints with high probability. To this end, it carefully explores the parameter space by exploiting regularity assumptions in terms of a Gaussian process prior. Moreover, we show how context variables can be used to safely transfer knowledge to new situations and tasks. We provide a theoretical analysis and demonstrate that the proposed algorithm enables fast, automatic, and safe optimization of tuning parameters in experiments on a quadrotor vehicle.

研究动机与目标

• 为解决机器人系统调优过程中不安全参数评估带来的风险，该风险可能导致系统故障。
• 在贝叶斯优化中将安全约束与性能目标解耦，允许独立指定安全与性能标准。
• 开发一种方法，在无需精确系统模型或梯度信息的情况下，保证优化过程中的安全性。
• 在尊重输入、状态和性能约束的前提下，实现实世界机器人系统的数据高效、自动参数调优。
• 通过在优化过程中引入上下文变量，促进知识在不同任务间的安全迁移。

提出的方法

• 该算法使用高斯过程先验来建模性能目标和多个安全约束函数。
• 它维护一个安全参数集合，并在每次迭代中通过使用来自真实世界评估的噪声观测值来更新函数的信念。
• 在每一步中，该算法选择既具有信息量（高期望改进）又以高概率满足所有安全约束的参数。
• 通过利普希茨连续性假设和概率置信区间来实现安全，确保任何评估的参数都保持在安全集合内。
• 该方法引入上下文变量，以实现在不同任务或系统配置间传递知识。
• 当在安全集合内无法进一步改进时，算法终止，该结果由理论收敛界保证。

实验结果

研究问题

• RQ1 如何将贝叶斯优化扩展以处理多个独立的安全约束，同时确保调优过程中无任何不安全评估？
• RQ2 无梯度优化方法是否能在不依赖系统模型或梯度估计的情况下，实现机器人领域安全且高效的参数调优？
• RQ3 如何在优化中实现安全与性能的解耦，以避免低误差与约束违反之间的权衡？
• RQ4 在存在噪声真实世界评估的情况下，可以为安全性和收敛性提供哪些理论保证？
• RQ5 上下文感知的优化是否能够实现在不同机器人任务或配置间传递知识，同时保持安全性？

主要发现

• SafeOpt-MC保证所有评估的参数以高概率满足所有安全约束，即使在存在噪声观测的情况下亦成立。
• 该算法以高概率确保收敛至一个性能在最优安全性能ε范围内的参数集合。
• 理论分析证明，该算法最终将探索整个安全集合，且一旦收敛，安全区域内将不再存在进一步改进的可能。
• 该方法无需梯度信息或先验系统模型，即可实现安全优化，从而在真实机器人上实现数据高效的调优。
• 在四旋翼飞行器上的实证评估表明，该方法实现了快速、自动且安全的控制器参数调优，整个优化过程中避免了系统故障。
• 引入上下文变量可有效实现在不同任务间传递知识，从而在新场景中提升优化效率。