[论文解读] Dynamic Batch Bayesian Optimization

Javad Azimi, Ali Jalali+1 more|arXiv (Cornell University)|Oct 14, 2011

Machine Learning and Algorithms参考文献 9被引用 6

一句话总结

本文提出动态批量贝叶斯优化（Dynamic Batch Bayesian Optimization），一种在每次迭代中自适应调整批量大小的方法，以在不牺牲性能的前提下加速序列贝叶斯优化。通过识别由期望改进（Expected Improvement）预测出的近似独立实验，该算法将它们并行执行，从而在真实和合成基准测试中实现高达18.4%的加速，同时性能下降极小。

ABSTRACT

Bayesian optimization (BO) algorithms try to optimize an unknown function that is expensive to evaluate using minimum number of evaluations/experiments. Most of the proposed algorithms in BO are sequential, where only one experiment is selected at each iteration. This method can be time inefficient when each experiment takes a long time and more than one experiment can be ran concurrently. On the other hand, requesting a fix-sized batch of experiments at each iteration causes performance inefficiency in BO compared to the sequential policies. In this paper, we present an algorithm that asks a batch of experiments at each time step t where the batch size p_t is dynamically determined in each step. Our algorithm is based on the observation that the sequence of experiments selected by the sequential policy can sometimes be almost independent from each other. Our algorithm identifies such scenarios and request those experiments at the same time without degrading the performance. We evaluate our proposed method using the Expected Improvement policy and the results show substantial speedup with little impact on the performance in eight real and synthetic benchmarks.

研究动机与目标

• 为解决固定批量贝叶斯优化效率低下、性能劣于序列策略的问题。
• 克服在实验代价高昂且可并行执行时，纯序列贝叶斯优化的时间低效问题。
• 开发一种动态批量选择策略，根据未来序列选择的独立性智能调整批量大小。
• 通过自适应并行化显著减少总实验时间，同时保持接近序列贝叶斯优化的性能。

提出的方法

• 该算法在每次迭代 $ t $ 中基于下一个 $ p_t $ 个由期望改进（EI）选择的实验近似独立的可能性，动态确定批量大小 $ p_t $。
• 使用高斯过程（GP）回归对未知函数建模，并计算预测均值 $ \mu_i^* $ 和方差 $ \sigma_i^{*2} $，以基于方差预测未来不确定性减少。
• 应用定理1，通过核函数和矩阵运算计算在候选批量 $ \boldsymbol{x}^* $ 处采样后的期望方差减少量 $ \Delta^*(\sigma_z) $。
• 通过估计预测均值变化 $ \Delta^*(\mu_z) $ 和方差变化 $ \Delta^*(\sigma_z) $ 来评估序列EI选择的独立性，识别出方差减少高而均值变化低的批次。
• 该算法使用阈值 $ \epsilon $ 确定一组点是否可以安全地批量处理，以确保性能下降最小化。
• 与固定-M及自适应-M（通过 $ (1+\alpha)y_{\text{max}} $）的期望改进策略集成，以支持灵活的性能评估。

实验结果

研究问题

• RQ1 动态批量选择能否在不降低性能的前提下提升贝叶斯优化的效率，相比序列方法？
• RQ2 如何在每次迭代中自适应地确定批量大小，以在保持最优性的同时最大化并行性？
• RQ3 在多大程度上可以利用GP后验方差和均值变化预测未来EI选择点的独立性？
• RQ4 在使用动态批量大小与固定或序列策略时，真实和合成基准测试中的可实现加速比是多少？
• RQ5 在不同改进目标（固定M与自适应M）下，动态批量BO与序列BO的性能表现如何？

主要发现

• 在使用自适应改进目标（$ \alpha = 0.1 $）的Hartman(3)基准测试中，所提出的动态批量贝叶斯优化相比序列贝叶斯优化实现了高达18.4%的加速。
• 在Rosenbrock(2)基准测试中，该方法在固定改进目标下实现了16.3%的加速，表明其在具有单一全局最优解的问题中表现强劲。
• 在所有基准测试中，该方法的性能均保持在序列策略的10%以内，表明尽管批量处理激进，性能下降极小。
• 随着实验数量增加，加速效果提升：当 $ n_l \geq 20 $ 时，该算法频繁选择 $ p_t > 1 $，且随着 $ n_l $ 增加，批量大小趋近于最大值5。
• 该方法在合成基准（如Hartman、Michalewicz）和真实世界基准（如Fuel Cell、Hydrogen）中均实现了显著加速，显示出广泛适用性。
• 使用自适应改进目标（$ (1+\alpha)y_{\text{max}} $）相比固定-M设置可实现更高加速（如Shekel上达17.4%），表明其与真实世界优化动态更匹配。