[论文解读] Global Optimization of Gaussian processes

Artur M. Schweidtmann, Dominik Bongartz+5 more|arXiv (Cornell University)|May 21, 2020

Gaussian Processes and Bayesian Inference参考文献 68被引用 5

一句话总结

本论文提出了一种用于高斯过程（GPs）确定性全局优化的降维空间分支定界方法，结合McCormick松弛法以及针对常见协方差函数和采集函数（期望改进、改进概率、下置信界）的定制包络。与最先进方法相比，该方法将计算时间减少了数个数量级，从而实现了在流程系统工程和贝叶斯优化应用中对更大规模数据集训练的高斯过程的高效全局优化。

ABSTRACT

Gaussian processes~(Kriging) are interpolating data-driven models that are frequently applied in various disciplines. Often, Gaussian processes are trained on datasets and are subsequently embedded as surrogate models in optimization problems. These optimization problems are nonconvex and global optimization is desired. However, previous literature observed computational burdens limiting deterministic global optimization to Gaussian processes trained on few data points. We propose a reduced-space formulation for deterministic global optimization with trained Gaussian processes embedded. For optimization, the branch-and-bound solver branches only on the degrees of freedom and McCormick relaxations are propagated through explicit Gaussian process models. The approach also leads to significantly smaller and computationally cheaper subproblems for lower and upper bounding. To further accelerate convergence, we derive envelopes of common covariance functions for GPs and tight relaxations of acquisition functions used in Bayesian optimization including expected improvement, probability of improvement, and lower confidence bound. In total, we reduce computational time by orders of magnitude compared to state-of-the-art methods, thus overcoming previous computational burdens. We demonstrate the performance and scaling of the proposed method and apply it to Bayesian optimization with global optimization of the acquisition function and chance-constrained programming. The Gaussian process models, acquisition functions, and training scripts are available open-source within the "MeLOn - Machine Learning Models for Optimization" toolbox~(https://git.rwth-aachen.de/avt.svt/public/MeLOn).

研究动机与目标

• 解决嵌入非凸优化问题中的高斯过程确定性全局优化所面临的计算负担问题。
• 克服先前方法因计算成本过高而仅限于小规模数据集的局限性。
• 实现在流程系统工程和贝叶斯优化中对基于高斯过程模型的高效全局优化。
• 为贝叶斯优化中常用的关键采集函数构建紧致的松弛，以加速收敛。
• 提供可扩展的开源实现，服务于机器学习与优化领域的工业及研究应用。

提出的方法

• 在降维空间中表述全局优化问题，其中分支仅作用于自由度，而非高斯过程超参数。
• 应用McCormick松弛法，将不确定性传播至显式高斯过程模型，确保分支定界过程中的严格边界。
• 推导常见协方差函数（如平方指数）的紧致包络，以提升松弛质量并减少子问题规模。
• 为采集函数——期望改进、改进概率和下置信界——构建凸松弛，考虑其非单调行为。
• 使用分段线性低估函数和仿射外推法，为非单调采集函数构建有效且紧致的凸松弛。
• 将该方法集成至分支定界框架中，利用降维空间表述和定制化松弛，加速收敛。

实验结果

研究问题

• RQ1 能否使嵌入高斯过程的确定性全局优化在比以往更大的数据集上实现计算上的可行性？
• RQ2 如何为贝叶斯优化中的非凸采集函数构建紧致且计算高效的松弛？
• RQ3 降维空间表述在多大程度上提升了高斯过程嵌入问题全局优化的可扩展性？
• RQ4 为协方差函数和采集函数设计的定制包络是否能显著降低子问题复杂度和求解时间？
• RQ5 与当前最先进的高斯过程模型全局优化求解器相比，所提方法在性能和可扩展性方面表现如何？

主要发现

• 与当前最先进的高斯过程嵌入问题全局优化方法相比，所提方法将计算时间减少了数个数量级。
• 降维空间表述通过避免对高斯过程超参数进行分支，显著减小了子问题规模并降低了计算成本。
• 推导出常见协方差函数和采集函数（如期望改进）的紧致包络，并证明其能提升松弛质量与收敛速度。
• 该方法实现了对更大规模数据集训练的高斯过程的确定性全局优化，克服了以往因计算负担导致的可扩展性限制。
• 该方法成功应用于贝叶斯优化中的全局采集函数优化和机会约束规划，展示了实际可扩展性。
• 高斯过程模型、采集函数及训练脚本作为开源代码发布于MeLOn工具箱中，促进了可复现性与更广泛应用。