[论文解读] Knowing The What But Not The Where in Bayesian Optimization

Loc Nguyen, Michael A. Osborne|arXiv (Cornell University)|May 7, 2019

Advanced Bandit Algorithms Research参考文献 45被引用 11

一句话总结

本文提出了一种新颖的贝叶斯优化框架，利用已知的最优输出值 $f^*$ 来加速超参数调优中的收敛。通过将高斯过程代理模型转换为满足 $f^*$ 约束，并引入两种新的采集函数——置信区间最小化与期望遗憾最小化，该方法在合成数据与真实世界基准测试中（包括深度强化学习和 XGBoost 调优）均实现了比标准贝叶斯优化方法更快的收敛速度。

ABSTRACT

Bayesian optimization has demonstrated impressive success in finding the optimum input x* and output f* = f(x*) = max f(x) of a black-box function f. In some applications, however, the optimum output f* is known in advance and the goal is to find the corresponding optimum input x*. In this paper, we consider a new setting in BO in which the knowledge of the optimum output f* is available. Our goal is to exploit the knowledge about f* to search for the input x* efficiently. To achieve this goal, we first transform the Gaussian process surrogate using the information about the optimum output. Then, we propose two acquisition functions, called confidence bound minimization and expected regret minimization. We show that our approaches work intuitively and give quantitatively better performance against standard BO methods. We demonstrate real applications in tuning a deep reinforcement learning algorithm on the CartPole problem and XGBoost on Skin Segmentation dataset in which the optimum values are publicly available.

研究动机与目标

• 为解决在已知最优输出 $f^*$ 但未知输入 $\mathbf{x}^*$ 的情况下贝叶斯优化中的空白问题。
• 开发一种强制执行约束 $f(\mathbf{x}) \leq f^*$ 的代理模型，以提高对真实目标函数的拟合度。
• 设计能够主动利用 $f^*$ 来减少搜索工作量并加速收敛的采集函数。
• 在基准函数与真实世界应用中验证该方法，其中 $f^*$ 为公开已知。

提出的方法

• 通过条件化已知的 $f^*$ 来转换高斯过程代理模型，确保后验均值与方差尊重上界 $f^*$。
• 引入一种置信区间最小化采集函数，聚焦于靠近 $f^*$ 且不确定性较低的区域。
• 提出一种期望遗憾最小化（ERM）采集函数，显式地最小化相对于 $f^*$ 的期望遗憾。
• 利用转换后的高斯过程计算采集函数值，实现基于 $f^*$ 的智能查询选择。
• 将该方法应用于具有已知最优值的合成函数与真实世界超参数调优任务。
• 与标准贝叶斯优化基线方法（如期望改进 EI）进行比较，以收敛速度与遗憾值作为评估指标。

实验结果

研究问题

• RQ1 已知的最优输出 $f^*$ 是否能被有效利用，以提升贝叶斯优化在定位最优输入 $\mathbf{x}^*$ 时的效率？
• RQ2 将 $f^*$ 纳入高斯过程代理模型后，对模型准确度与优化收敛性有何影响？
• RQ3 基于 $f^*$ 的采集函数（如置信区间最小化与期望遗憾最小化）是否优于标准采集函数？
• RQ4 对 $f^*$ 的误设会对所提方法的性能产生何种影响？
• RQ5 在已知最优奖励或准确率的真实世界超参数调优中，该方法的可扩展性如何？

主要发现

• 所提出的期望遗憾最小化（ERM）采集函数在基准函数与真实世界应用中均优于所有基线方法，包括标准的期望改进。
• 在已知 $f^*=200$ 的 CartPole DRL 任务中，ERM 仅用 20 次迭代即达到最优性能，显著快于基线方法。
• 在 XGBoost 皮肤分割任务中，该方法以更少的评估次数收敛至已知最优值，优于标准贝叶斯优化方法。
• 对 $f^*$ 的误设——尤其是低估它——会导致性能下降更严重，原因在于过早收敛至次优区域。
• 转换后的高斯过程代理模型有效强制执行了 $f^*$ 约束，提升了模型拟合度，并实现了更快的收敛。
• 该方法在已知 $f^*$ 的实际场景中表现出鲁棒性与实用性，例如在强化学习与分类准确率调优中。