[论文解读] Lower Bounds on the Worst-Case Complexity of Efficient Global Optimization

Wenjie Xu, Yuning Jiang+2 more|arXiv (Cornell University)|Sep 20, 2022

Advanced Optimization Algorithms Research被引用 4

一句话总结

本文在非贝叶斯、无噪声设定下，为一般核函数的高效全局优化（EGO）建立了统一的最坏情况样本复杂度下界。通过将复杂度与再生核希尔伯特空间（RKHS）的度量熵相联系，证明了任何确定性算法若需达到次优性间隙 $\epsilon$，必须进行 $T = \Omega\left(\frac{\log \mathcal{N}(S(\mathcal{X}), 4\epsilon, \|\cdot\|_\infty)}{\log(R/\epsilon)}\right)$ 次查询，该结果几乎匹配平方指数核和马特ern核的已知上界。

ABSTRACT

Efficient global optimization is a widely used method for optimizing expensive black-box functions such as tuning hyperparameter, and designing new material, etc. Despite its popularity, less attention has been paid to analyzing the inherent hardness of the problem although, given its extensive use, it is important to understand the fundamental limits of efficient global optimization algorithms. In this paper, we study the worst-case complexity of the efficient global optimization problem and, in contrast to existing kernel-specific results, we derive a unified lower bound for the complexity of efficient global optimization in terms of the metric entropy of a ball in its corresponding reproducing kernel Hilbert space~(RKHS). Specifically, we show that if there exists a deterministic algorithm that achieves suboptimality gap smaller than $ε$ for any function $f\in S$ in $T$ function evaluations, it is necessary that $T$ is at least $Ω\left(\frac{\log\mathcal{N}(S(\mathcal{X}), 4ε,\|\cdot\|_\infty)}{\log(\frac{R}ε)} ight)$, where $\mathcal{N}(\cdot,\cdot,\cdot)$ is the covering number, $S$ is the ball centered at $0$ with radius $R$ in the RKHS and $S(\mathcal{X})$ is the restriction of $S$ over the feasible set $\mathcal{X}$. Moreover, we show that this lower bound nearly matches the upper bound attained by non-adaptive search algorithms for the commonly used squared exponential kernel and the Matérn kernel with a large smoothness parameter $ν$, up to a replacement of $d/2$ by $d$ and a logarithmic term $\log\frac{R}ε$. That is to say, our lower bound is nearly optimal for these kernels.

研究动机与目标

• 理解高效全局优化（EGO）在最坏情况样本复杂度方面的基本极限。
• 弥合现有核特定下界与通用、核无关复杂度分析之间的差距。
• 建立RKHS度量熵与EGO问题固有复杂度之间的联系。
• 在无噪声、非贝叶斯设定下进行分析，以隔离统计噪声影响，揭示内在复杂度。
• 证明所推导的下界几乎匹配平方指数核和马特ern核等流行核函数的已知上界，尤其在光滑性较高时。

提出的方法

• 推导出为RKHS中半径为 $R$ 的函数球 $S$ 内任意函数实现次优性间隙 $\epsilon$ 所需的函数评估次数 $T$ 的一般下界。
• 使用覆盖数 $\mathcal{N}(S(\mathcal{X}), 4\epsilon, \|\cdot\|_\infty)$ 作为函数空间复杂度的度量。
• 应用信息论论证，表明任何确定性算法都必须满足 $T \geq \Omega\left(\frac{\log \mathcal{N}(S(\mathcal{X}), 4\epsilon, \|\cdot\|_\infty)}{\log(R/\epsilon)}\right)$。
• 证明该下界几乎匹配非自适应搜索算法在平方指数核和马特ern核上实现的上界。
• 利用泛函分析结果，包括特定核下RKHS与Sobolev空间的等价性，推导覆盖数的下界。
• 应用斯特林公式和高斯积分界，控制核矩阵近似分析中的误差项。

实验结果

研究问题

• RQ1 对于一般核函数，高效全局优化的基本最坏情况样本复杂度是什么？
• RQ2 RKHS球的度量熵如何与EGO算法的查询复杂度相关联？
• RQ3 能否推导出一个适用于不同核类别的统一下界，而非局限于特定核？
• RQ4 所推导的下界在多大程度上匹配平方指数核和马特ern核等流行核函数的已知上界？
• RQ5 无噪声设定是否揭示了EGO的内在复杂度，而独立于统计噪声的影响？

主要发现

• 本文建立了EGO最坏情况样本复杂度的一般下界：$T = \Omega\left(\frac{\log \mathcal{N}(S(\mathcal{X}), 4\epsilon, \|\cdot\|_\infty)}{\log(R/\epsilon)}\right)$，其中 $\mathcal{N}$ 为可行集上RKHS球的覆盖数。
• 对于平方指数核，所推导的下界几乎匹配非自适应算法已知的上界，仅在因子上相差 $d$ 而非 $d/2$，以及一个对数项。
• 对于光滑性参数 $\nu$ 较大的马特ern核，下界与上界仅相差对数因子，表明其近乎最优。
• 该下界在无噪声、非贝叶斯设定下推导得出，从而将函数类的内在复杂度与统计噪声影响分离。
• 分析表明，EGO的复杂度本质上与RKHS的度量熵相关联，提供了一种独立于特定核结构的一般复杂度度量。
• 该结果意味着，针对SE和Matérn核的现有算法在最坏情况样本复杂度方面近乎最优，若不改变问题结构，进一步改进的可能性极低。