[论文解读] Meta-Learning Priors for Safe Bayesian Optimization

Jonas Rothfuss, Christopher J. Koenig+2 more|arXiv (Cornell University)|Oct 3, 2022

Fault Detection and Control Systems被引用 7

一句话总结

本文提出安全元贝叶斯优化（SaMBO），一种数据驱动框架，通过经验不确定性度量和前沿搜索，元学习可靠的、符合安全约束的高斯过程先验，用于安全贝叶斯优化。通过利用离线数据并借助 F-PACOH 改进不确定性量化，SaMBO 在基准函数和高精度运动系统上实现了安全贝叶斯优化的加速收敛，同时严格遵守安全约束。

ABSTRACT

In robotics, optimizing controller parameters under safety constraints is an important challenge. Safe Bayesian optimization (BO) quantifies uncertainty in the objective and constraints to safely guide exploration in such settings. Hand-designing a suitable probabilistic model can be challenging, however. In the presence of unknown safety constraints, it is crucial to choose reliable model hyper-parameters to avoid safety violations. Here, we propose a data-driven approach to this problem by meta-learning priors for safe BO from offline data. We build on a meta-learning algorithm, F-PACOH, capable of providing reliable uncertainty quantification in settings of data scarcity. As core contribution, we develop a novel framework for choosing safety-compliant priors in a data-riven manner via empirical uncertainty metrics and a frontier search algorithm. On benchmark functions and a high-precision motion system, we demonstrate that our meta-learned priors accelerate the convergence of safe BO approaches while maintaining safety.

研究动机与目标

• 为在先验知识有限的情况下，解决安全贝叶斯优化中选择可靠且符合安全约束的 GP 超参数的挑战。
• 通过从离线数据中学习信息丰富的先验，提升安全 BO 的样本效率，减少对人工调参或保守超参数的依赖。
• 通过使用数据驱动的不确定性度量指导先验选择，确保优化过程中的安全性。
• 开发一种框架，将元学习的先验与现有安全 BO 算法无缝集成，而无需修改其核心机制。
• 证明元学习的先验在合成与真实世界机器人控制任务中，相较于标准先验，能实现更快的收敛速度和更高的安全合规性。

提出的方法

• 该方法使用 F-PACOH 从离线数据中元学习可靠的 GP 先验，即使在数据稀缺和分布偏移的情况下也能实现。
• 提出一种前沿搜索算法，通过最小化置信区间的经验校准和锐度度量来优化核超参数。
• 该方法在超参数上定义了一个单调优化问题，利用其结构特性实现高效搜索。
• 采用经验不确定性度量——平均校准和平均标准差——来评估并指导安全先验的选择。
• 该框架与现有安全 BO 算法（如 GoOSE 和 SafeOpt）兼容，可无缝提升其样本效率。
• 前沿搜索通过基于不确定性度量迭代优化上下界，高效缩小超参数的可行区域。

实验结果

研究问题

• RQ1 基于数据驱动的 GP 先验元学习能否提升安全贝叶斯优化的样本效率？
• RQ2 在低数据场景下，如何可靠地优化不确定性量化以满足关键安全应用需求？
• RQ3 基于数据驱动的核超参数选择是否能带来更安全、更快的控制器调参收敛？
• RQ4 元训练任务数量与每个任务的数据点数量对 SaMBO 性能的影响程度如何？
• RQ5 前沿搜索能否在保持安全性和收敛性保证的前提下，高效优化超参数？

主要发现

• 与原始 GP 先验相比，SaMBO 显著提升了安全贝叶斯优化的查询效率，在基准函数上的推理遗憾低于 0.1。
• 该方法在所有实验中均严格遵守安全约束，优化过程中未发生任何安全违规。
• 元训练任务数量翻倍带来的性能提升，大于将每个任务的数据点数量翻倍，表明任务数量的影响更大。
• 前沿搜索收敛迅速，在合成问题上，少于 10 次迭代即可将可行超参数区域缩小超过 90%。
• 基于 F-PACOH 的先验元训练耗时约 3–4 分钟，对于中等规模的元数据集，前沿搜索可在 1 分钟内完成。
• 在高精度运动系统上，SaMBO 实现了控制器调参的更快收敛，且未牺牲安全性，验证了其在真实场景中的适用性。