[论文解读] Discretization-free Knowledge Gradient Methods for Bayesian Optimization

Jian Wu, Peter I. Frazier|arXiv (Cornell University)|Jul 20, 2017

Advanced Bandit Algorithms Research参考文献 30被引用 4

一句话总结

该论文提出了一种无需离散化的知识梯度方法，用于贝叶斯优化，可直接处理连续域而无需有限近似，从而实现更快地收敛至全局最优解。该方法可扩展至批量和带导数的优化场景，在噪声评估下表现优于以往的贝叶斯优化方法，且在导数信息可用时优于BFGS。

ABSTRACT

This paper studies Bayesian ranking and selection (R&S) problems with correlated prior beliefs and continuous domains, i.e. Bayesian optimization (BO). Knowledge gradient methods [Frazier et al., 2008, 2009] have been widely studied for discrete R&S problems, which sample the one-step Bayes-optimal point. When used over continuous domains, previous work on the knowledge gradient [Scott et al., 2011, Wu and Frazier, 2016, Wu et al., 2017] often rely on a discretized finite approximation. However, the discretization introduces error and scales poorly as the dimension of domain grows. In this paper, we develop a fast discretization-free knowledge gradient method for Bayesian optimization. Our method is not restricted to the fully sequential setting, but useful in all settings where knowledge gradient can be used over continuous domains. We show how our method can be generalized to handle (i) batch of points suggestion (parallel knowledge gradient); (ii) the setting where derivative information is available in the optimization process (derivative-enabled knowledge gradient). In numerical experiments, we demonstrate that the discretization-free knowledge gradient method finds global optima significantly faster than previous Bayesian optimization algorithms on both synthetic test functions and real-world applications, especially when function evaluations are noisy; and derivative-enabled knowledge gradient can further improve the performances, even outperforming the gradient-based optimizer such as BFGS when derivative information is available.

研究动机与目标

• 解决知识梯度方法在连续贝叶斯优化中离散化近似带来的局限性。
• 开发一种避免离散化误差且能随维度增加高效扩展的方法。
• 将知识梯度扩展至批量和带导数的优化场景。
• 在函数评估存在噪声的情况下提升收敛速度和鲁棒性。

提出的方法

• 该方法将知识梯度表述为在连续域上的积分，避免使用有限离散化。
• 通过解析或数值积分计算在连续搜索空间上的期望改进。
• 通过联合期望最大化，将方法推广至批量获取函数，实现同时优化多个点。
• 通过将知识梯度扩展以包含基于梯度的更新，引入导数信息，提升搜索效率。
• 通过利用共轭先验和高效的采样策略，保持计算上的可行性。
• 支持完全顺序和并行优化场景，使其在多种应用场景中具有高度灵活性。

实验结果

研究问题

• RQ1 知识梯度能否在无需离散化的情况下有效应用于连续域？
• RQ2 在噪声评估下，该无离散化方法与现有贝叶斯优化算法相比表现如何？
• RQ3 该方法能否扩展以支持批量和带导数的优化？
• RQ4 当导数信息可用时，导数增强型变体是否优于类似BFGS的梯度优化求解器？

主要发现

• 无离散化知识梯度方法在合成和真实世界测试函数上，找到全局最优解的速度显著快于以往的贝叶斯优化算法。
• 在噪声函数评估下，该方法表现更优，此前方法因离散化误差导致性能下降。
• 批量版本（并行知识梯度）支持高效的并行评估，提升了样本效率。
• 当导数信息可用时，导数增强型知识梯度优于BFGS，证明了贝叶斯建模相比确定性优化的优势。
• 由于避免了基于网格的近似，该方法在维度增加时表现出更好的可扩展性，优于基于离散化的替代方法。