[论文解读] Exploration vs Exploitation in Bayesian Optimization

Ali Jalali, Javad Azimi+1 more|arXiv (Cornell University)|Apr 3, 2012

Gaussian Processes and Bayesian Inference参考文献 19被引用 8

一句话总结

本文提出了一种基于利普希茨连续性的两阶段贝叶斯优化算法：第一阶段为探索阶段，通过选择信息量丰富的样本快速缩小搜索空间；第二阶段为利用阶段，在缩小后的区域内进行精细化搜索。实验结果表明，该方法显著减少了找到最优解所需的函数评估次数，优于期望改进（Expected Improvement, EI）方法。

ABSTRACT

The problem of optimizing unknown costly-to-evaluate functions has been studied for a long time in the context of Bayesian Optimization. Algorithms in this field aim to find the optimizer of the function by asking only a few function evaluations at locations carefully selected based on a posterior model. In this paper, we assume the unknown function is Lipschitz continuous. Leveraging the Lipschitz property, we propose an algorithm with a distinct exploration phase followed by an exploitation phase. The exploration phase aims to select samples that shrink the search space as much as possible. The exploitation phase then focuses on the reduced search space and selects samples closest to the optimizer. Considering the Expected Improvement (EI) as a baseline, we empirically show that the proposed algorithm significantly outperforms EI.

研究动机与目标

• 解决在最小化函数评估次数的前提下优化昂贵评估函数的挑战。
• 通过利用未知函数的利普希茨连续性，提升贝叶斯优化中的样本效率。
• 设计一种结构化算法，将探索（搜索空间缩减）与利用（局部精细化）分离。
• 通过实验验证该方法相较于期望改进（EI）基线方法的优越性能。

提出的方法

• 该算法采用独立的探索阶段，通过基于利普希茨性质选择样本，以最小化可行区域的大小。
• 利用利普希茨常数对函数变化进行约束，从而在探索阶段严格收缩搜索空间。
• 探索阶段结束后，算法转入专注于缩小后搜索空间的利用阶段。
• 在利用阶段，样本选择以最接近估计的最优解为目标，以最大化局部精细化效果。
• 该方法依赖于结合观测函数值与利普希茨约束的后验模型，以指导采样决策。
• 与标准贝叶斯优化方法相比，该方法通过结构化的阶段分离，将全局搜索与局部优化解耦。

实验结果

研究问题

• RQ1 是否可以通过将探索与利用分离的两阶段贝叶斯优化策略，提升样本效率？
• RQ2 利普希茨性质在探索阶段用于缩小搜索空间的效率如何？
• RQ3 从全局探索到局部利用的结构化过渡是否能带来优于标准期望改进方法的收敛性能？
• RQ4 在达到最优解所需的函数评估次数方面，该方法与EI相比在量化指标上表现如何？

主要发现

• 所提出的算法在收敛速度和样本效率方面显著优于期望改进（EI）方法。
• 探索阶段通过利用利普希茨约束有效缩小了搜索空间，消除了不可能包含最优解的区域。
• 利用阶段通过聚焦于高潜力区域，在缩小后的搜索空间内实现了更快的收敛。
• 实验结果表明，两阶段策略显著减少了达到最优解所需的函数评估次数。