[论文解读] A hierarchical expected improvement method for Bayesian optimization

Zhehui Chen, Simon Mak+1 more|arXiv (Cornell University)|Nov 17, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 49被引用 12

一句话总结

本文提出了一种分层期望改进（HEI）框架，用于贝叶斯优化，通过分层高斯过程模型整合参数不确定性，纠正了传统期望改进（EI）的过度贪婪问题。HEI保持了闭式获取函数，并实现了全局收敛性，收敛速率接近极小化最大值，优于EI及其他方法在合成数据和半导体制造实验中的表现。

ABSTRACT

The Expected Improvement (EI) method, proposed by Jones et al. (1998), is a widely-used Bayesian optimization method, which makes use of a fitted Gaussian process model for efficient black-box optimization. However, one key drawback of EI is that it is overly greedy in exploiting the fitted Gaussian process model for optimization, which results in suboptimal solutions even with large sample sizes. To address this, we propose a new hierarchical EI (HEI) framework, which makes use of a hierarchical Gaussian process model. HEI preserves a closed-form acquisition function, and corrects the over-greediness of EI by encouraging exploration of the optimization space. We then introduce hyperparameter estimation methods which allow HEI to mimic a fully Bayesian optimization procedure, while avoiding expensive Markov-chain Monte Carlo sampling steps. We prove the global convergence of HEI over a broad function space, and establish near-minimax convergence rates under certain prior specifications. Numerical experiments show the improvement of HEI over existing Bayesian optimization methods, for synthetic functions and a semiconductor manufacturing optimization problem.

研究动机与目标

• 解决贝叶斯优化中期望改进（EI）的过度贪婪问题，该问题会导致过早收敛并无法找到全局最优解。
• 提出一种系统性方法，增强探索能力，而无需依赖ε-贪婪或方差膨胀等临时性修改。
• 通过保持闭式获取函数，在引入模型不确定性的同时，维持EI的计算效率。
• 通过新颖的超参数估计方法，实现完全贝叶斯优化的高效近似，避免昂贵的MCMC采样步骤。
• 在特定先验假设下，建立全局收敛性和接近极小化最大值收敛速率的理论保证。

提出的方法

• 提出一种分层高斯过程（GP）模型，以捕捉GP超参数的不确定性，从而实现更稳健的探索。
• 通过积分分层先验，推导出HEI的闭式获取函数，避免了MCMC采样的需求。
• 引入两种超参数估计方法——最大边缘似然（MMAP）和数据驱动缩放（DSD），以近似完全贝叶斯推断。
• 利用分层GP模型，通过在高模型置信区域增加不确定性，纠正标准EI的过度开发倾向。
• 将获取函数表述为分层后验下的期望改进，从而在低不确定性但潜在最优的区域促进探索。
• 证明了HEI在广泛类别的目标函数上具有全局收敛性，并在特定先验设定下推导出接近极小化最大值的收敛速率。

实验结果

研究问题

• RQ1 分层GP模型能否有效纠正贝叶斯优化中标准期望改进（EI）的过度贪婪问题？
• RQ2 所提出的HEI框架是否在保持闭式获取函数的同时，实现改进的探索与收敛性能？
• RQ3 在适当的先验假设下，HEI能否实现全局收敛性和接近极小化最大值的收敛速率？
• RQ4 在合成数据和真实世界问题上，HEI与UCB、SEI及ε-贪婪EI等现有方法相比，优化性能如何？
• RQ5 HEI能否在避免昂贵MCMC采样步骤的前提下，高效近似完全贝叶斯优化？

主要发现

• HEI-MMAP与HEI-DSD在合成数据和半导体制造测试用例中，均优于UCB-OK、SEI和ε-贪婪EI，能更有效地最小化目标函数。
• 在晶圆加热仿真中，HEI方法能更快收敛至600 °F的目标温度，且温度振荡极小。
• SEI与UCB-OK方法收敛更慢，温度波动更大，其中UCB-OK甚至未能达到目标温度。
• HEI在广泛函数空间上保持了全局收敛性，并在指定先验分布下实现了接近极小化最大值的收敛速率。
• 通过MMAP与DSD超参数估计，HEI框架成功近似了完全贝叶斯优化，避免了昂贵的MCMC采样步骤。
• 数值实验确认，HEI为EI的过度开发问题提供了系统性、高效且有效的修正，尤其在高维与昂贵黑箱场景中表现突出。