[论文解读] Hybrid Batch Bayesian Optimization

Javad Azimi, Ali Jalali+1 more|arXiv (Cornell University)|Feb 25, 2012

Advanced Bandit Algorithms Research参考文献 12被引用 44

一句话总结

本文提出了一种混合批量贝叶斯优化算法，通过动态切换顺序评估与批量评估，在优化性能与时间效率之间实现平衡。该方法基于预测误差的理论停止准则，相较于顺序贝叶斯优化，实现了最高达78%的加速，且性能损失极小，优于现有批量方法（如 Constant Liar，其中 $\tilde{y} = \hat{\mu}$）。

ABSTRACT

Bayesian Optimization aims at optimizing an unknown non-convex/concave function that is costly to evaluate. We are interested in application scenarios where concurrent function evaluations are possible. Under such a setting, BO could choose to either sequentially evaluate the function, one input at a time and wait for the output of the function before making the next selection, or evaluate the function at a batch of multiple inputs at once. These two different settings are commonly referred to as the sequential and batch settings of Bayesian Optimization. In general, the sequential setting leads to better optimization performance as each function evaluation is selected with more information, whereas the batch setting has an advantage in terms of the total experimental time (the number of iterations). In this work, our goal is to combine the strength of both settings. Specifically, we systematically analyze Bayesian optimization using Gaussian process as the posterior estimator and provide a hybrid algorithm that, based on the current state, dynamically switches between a sequential policy and a batch policy with variable batch sizes. We provide theoretical justification for our algorithm and present experimental results on eight benchmark BO problems. The results show that our method achieves substantial speedup (up to %78) compared to a pure sequential policy, without suffering any significant performance loss.

研究动机与目标

• 解决在函数评估成本较高的情况下，贝叶斯优化中优化性能与时间效率之间的权衡问题。
• 开发一种混合算法，根据模型不确定性与估计误差，智能地从顺序模式过渡到批量模式。
• 为模拟结果引入的偏差提供理论基础，以分析批量贝叶斯优化中的偏差问题。
• 通过引入批量大小选择的合理停止准则，改进现有批量贝叶斯优化方法（如 Constant Liar）。
• 通过实证验证，该混合方法在显著减少迭代次数的同时，保持了与顺序贝叶斯优化相近的性能。

提出的方法

• 该算法使用高斯过程（GP）对未知函数进行建模，并采用期望改进（EI）作为获取函数。
• 在每次迭代中，算法首先使用EI选择下一个最优单一点，然后利用GP后验均值估计其结果。
• 通过基于估计结果预测误差的理论停止准则，动态判断是否向当前批次添加另一点。
• 停止准则定义为 $\gamma_z \theta_x \leq \epsilon$，其中 $\gamma_z$ 衡量下一个最优点对估计结果的敏感度，$\theta_x$ 为估计误差。
• 若条件满足，则继续向批次添加点；否则，切换回顺序模式。
• 该方法自然地从早期阶段（高不确定性）的顺序行为演变为后期阶段（低不确定性）的批量行为，实现可变批次大小。

实验结果

研究问题

• RQ1 如何在基于模拟的批量贝叶斯优化中，理论上界定由估计函数结果引入的偏差？
• RQ2 在什么条件下，向批次中添加另一点不会显著降低与顺序选择相比的优化性能？
• RQ3 能否通过基于模型不确定性的动态调整批次大小的混合方法，超越固定批次和纯顺序贝叶斯优化？
• RQ4 选择模拟结果（如 $\hat{y} = \hat{\mu}$）如何影响贝叶斯优化中批量选择的性能与稳定性？
• RQ5 在真实世界与合成问题中，混合算法在多大程度上能同时实现高时间效率与高优化精度？

主要发现

• 所提出的混合算法在基准问题上相较于顺序贝叶斯优化实现了最高达78%的加速，显著减少了所需迭代次数。
• 该算法保持了与顺序EI几乎相同的优化性能，即使在小批次大小下也未出现显著性能下降。
• 理论分析表明，批次中第二项实验与真实顺序选择之间的距离，其上界与估计误差的平方根成正比。
• 在 Constant Liar 启发式方法中将模拟结果设为后验均值 $\hat{\mu}$，可获得更优的停止条件（即 $\gamma_z \theta_x \leq \epsilon$），从而在实践中合理化其使用。
• 采用 $\hat{y} = \hat{\mu}$ 的 $\mu$-Constant Batch 变体，性能与最先进方法 Matching 相当，但计算复杂度显著降低。
• 实证结果证实，该混合算法能有效实现从顺序到批量行为的过渡，早期迭代因不确定性较高而更倾向于顺序选择。