[论文解读] Excursion Search for Constrained Bayesian Optimization under a Limited Budget of Failures

Alonso Marco, Alexander von Rohr+3 more|arXiv (Cornell University)|May 15, 2020

Advanced Bandit Algorithms Research参考文献 27被引用 6

一句话总结

本文提出了一种名为 XsF 的新型贝叶斯优化算法，通过根据预设的失败预算动态调整风险，实现探索与安全之间的平衡。该方法利用高斯过程中的水平集理论，高效探索受限搜索空间，在合成与真实世界基准测试中，均实现了更低的遗憾值和更优的失败预算利用率，优于当前最先进方法。

ABSTRACT

When learning to ride a bike, a child falls down a number of times before achieving the first success. As falling down usually has only mild consequences, it can be seen as a tolerable failure in exchange for a faster learning process, as it provides rich information about an undesired behavior. In the context of Bayesian optimization under unknown constraints (BOC), typical strategies for safe learning explore conservatively and avoid failures by all means. On the other side of the spectrum, non conservative BOC algorithms that allow failing may fail an unbounded number of times before reaching the optimum. In this work, we propose a novel decision maker grounded in control theory that controls the amount of risk we allow in the search as a function of a given budget of failures. Empirical validation shows that our algorithm uses the failures budget more efficiently in a variety of optimization experiments, and generally achieves lower regret, than state-of-the-art methods. In addition, we propose an original algorithm for unconstrained Bayesian optimization inspired by the notion of excursion sets in stochastic processes, upon which the failures-aware algorithm is built.

研究动机与目标

• 解决在失败不可取但可容忍的场景中实现安全且高效的优化挑战。
• 开发一种决策框架，显式考虑优化过程中的剩余失败次数与评估次数。
• 通过实现风险感知探索，改进保守型（零失败）与非保守型（无限制失败）方法。
• 设计基于随机过程几何的获取函数，以实现高效的全局优化。

提出的方法

• 该方法提出一种基于高斯过程水平集的新型获取函数，通过检测阈值的上穿行为，识别可能包含全局最优解的区域。
• 将过程导数引入获取函数，以提升决策的准确性和效率。
• 通过动态反馈控制器调节探索风险，根据每次迭代时剩余的失败预算调整阈值。
• 通过将安全约束与失败预算约束整合到获取函数中，将该方法扩展至约束优化问题。
• 通过合成基准与真实世界应用（包括神经网络压缩与机器人控制器调优）对方法进行验证。
• 该方法采用基于高斯过程的概率框架实现，并利用 Rician 公式以保证解析可计算性。

实验结果

研究问题

• RQ1 当优化过程中允许有限次失败时，如何使贝叶斯优化更加高效？
• RQ2 能否利用随机过程中的水平集理论，设计出具有理论基础的获取函数以实现全局优化？
• RQ3 如何将动态风险控制机制整合到贝叶斯优化中，以自适应管理失败预算？
• RQ4 具有失败感知的获取函数是否在遗憾值与失败效率方面优于保守型与非保守型贝叶斯优化方法？
• RQ5 所提出的方法能否在包括约束问题与真实世界应用在内的多样化优化问题中实现泛化？

主要发现

• 在 10D 的 Michalewicz 函数与 6D 的 Hartman 函数上，XsF 在所有对比方法中实现了最低的遗憾值，且差异具有统计显著性。
• 在神经网络压缩任务中，XsF 实现了 0.76% 的验证误差与 12.4 kB 的理论模型大小，在遗憾值与标准差方面均优于 EIC 与 PESC。
• 通过 $Ω$ 指标验证，XsF 比其他方法更频繁地访问安全评估点，表明其对安全区域的利用更优。
• 在小车-摆杆控制问题中，XsF 找到了优于 EIC 与 PESC 的控制器，展示了其在真实世界机器人应用中的优越性能。
• 该算法有效利用了失败预算，表明允许有限次失败可实现比零失败策略更快的收敛速度与更优解。
• 在固定超参数的实验中，Xs 与 XsF 均持续优于当前最先进方法，验证了该方法的鲁棒性。