[论文解读] Convergence rates of efficient global optimization algorithms

Adam D. Bull|arXiv (Cornell University)|Jan 18, 2011

Advanced Bandit Algorithms Research参考文献 27被引用 299

一句话总结

本文建立了在高效全局优化中期望改进算法的收敛速率，表明在固定高斯过程先验下，收敛速率为 $ O^*(n^{-(\nu \wedge 1)/d}) $，并提出一种改进算法，实现接近最优的速率 $ O^*(n^{-\nu/d}) $。此外，证明了标准的序列先验估计方法可能导致收敛失败，但提出了能保持最优收敛速率的改进估计器。

ABSTRACT

Efficient global optimization is the problem of minimizing an unknown function f, using as few evaluations f(x) as possible. It can be considered as a continuum-armed bandit problem, with noiseless data and simple regret. Expected improvement is perhaps the most popular method for solving this problem; the algorithm performs well in experiments, but little is known about its theoretical properties. Implementing expected improvement requires a choice of Gaussian process prior, which determines an associated space of functions, its reproducing-kernel Hilbert space (RKHS). When the prior is fixed, expected improvement is known to converge on the minimum of any function in the RKHS. We begin by providing convergence rates for this procedure. The rates are optimal for functions of low smoothness, and we modify the algorithm to attain optimal rates for smoother functions. For practitioners, however, these results are somewhat misleading. Priors are typically not held fixed, but depend on parameters estimated from the data. For standard estimators, we show this procedure may never discover the minimum of f. We then propose alternative estimators, chosen to minimize the constants in the rate of convergence, and show these estimators retain the convergence rates of a fixed prior.

研究动机与目标

• 在固定高斯过程先验下，建立期望改进算法在高效全局优化中的理论收敛速率。
• 研究序列估计先验对收敛的影响，表明标准估计器可能导致无法收敛至真实最小值。
• 提出替代估计器，即使在序列学习下也能保持最优收敛速率。
• 弥合贝叶斯优化中理论保证与实际实现之间的差距，尤其针对函数平滑性未知的情形。
• 对无噪声、高成本函数最小化中探索与利用之间的权衡提供严格分析。

提出的方法

• 将期望改进（EI）作为在紧致域上最小化未知、高成本评估函数的贝叶斯优化策略进行分析。
• 利用再生核希尔伯特空间（RKHS）理论刻画与固定高斯过程先验相关联的函数空间。
• 通过网格范数和覆盖论证，控制后验方差和期望改进，推导EI的收敛速率。
• 提出一种改进的EI算法，对具有平滑度 $ \nu $ 的光滑函数，实现接近最优的收敛速率 $ O^*(n^{-\nu/d}) $。
• 应用集中不等式（Chernoff不等式）和网格化技术，控制设计点覆盖不良的概率。
• 提出新的超参数（如长度尺度、方差）估计器，最小化收敛速率中的常数，确保在序列学习下的鲁棒性。

实验结果

研究问题

• RQ1 当高斯过程先验固定时，期望改进算法的收敛速率是什么？
• RQ2 能否通过改进的期望改进算法实现对更光滑函数的近似最优收敛速率？
• RQ3 对先验超参数的序列估计是否会损害收敛至全局最小值的能力？
• RQ4 能否构造出在序列学习下仍保持最优收敛速率的替代估计器？
• RQ5 网格范数和覆盖数如何影响期望改进算法的收敛行为？

主要发现

• 对于具有平滑度 $ \nu $ 的固定高斯过程先验，期望改进对所有属于相关RKHS的函数 $ f $，均以速率 $ O^*(n^{-(\nu \wedge 1)/d}) $ 收敛至全局最小值。
• 改进的期望改进算法实现接近最优的收敛速率 $ O^*(n^{-\nu/d}) $，与理论下界仅相差对数因子。
• 标准的先验超参数序列估计器可能导致非收敛，即使对于光滑函数，原因在于对后验方差控制不足。
• 所提出的替代估计器确保收敛速率保持为 $ O^*(n^{-(\nu \wedge 1)/d}) $，与固定先验情况一致，即使参数从数据中学习。
• 分析表明，衡量最近设计点距离最大值的网格范数 $ h_n $ 以速率 $ O((n/\log n)^{-1/d}) $ 高概率衰减。
• 收敛速率对所有具有有界范数的RKHS函数 $ f $ 均一致，且界独立于 $ f $ 的具体实现，确保鲁棒性。