[论文解读] A Domain-Shrinking based Bayesian Optimization Algorithm with Order-Optimal Regret Performance

Sudeep Salgia, Sattar Vakili+1 more|arXiv (Cornell University)|Oct 27, 2020

Advanced Bandit Algorithms Research参考文献 60被引用 6

一句话总结

该论文提出 GP-ThreDS，一种基于高斯过程的贝叶斯优化算法，通过基于树的剪枝与精炼过程实现迭代领域收缩，以定位函数域中的高性能区域。该方法在实现近似最优遗憾性能（忽略对数因子）的同时，相比 GP-UCB 将计算复杂度降低了 $O(T^{2d-1})$ 倍，因此在高维问题中兼具学习高效性与计算可扩展性。

ABSTRACT

We consider sequential optimization of an unknown function in a reproducing kernel Hilbert space. We propose a Gaussian process-based algorithm and establish its order-optimal regret performance (up to a poly-logarithmic factor). This is the first GP-based algorithm with an order-optimal regret guarantee. The proposed algorithm is rooted in the methodology of domain shrinking realized through a sequence of tree-based region pruning and refining to concentrate queries in increasingly smaller high-performing regions of the function domain. The search for high-performing regions is localized and guided by an iterative estimation of the optimal function value to ensure both learning efficiency and computational efficiency. Compared with the prevailing GP-UCB family of algorithms, the proposed algorithm reduces computational complexity by a factor of $O(T^{2d-1})$ (where $T$ is the time horizon and $d$ the dimension of the function domain).

研究动机与目标

• 弥合现有基于高斯过程的贝叶斯优化算法与遗憾性能理论下界之间的差距。
• 解决 GP-UCB 的高计算复杂度问题，特别是其来自全局 UCB 最大化的 $O(T^{2d+3})$ 复杂度。
• 通过自适应领域收缩，将查询集中于日益缩小的高性能区域，提升学习效率。
• 通过避免全局优化 UCB 代理函数，转而采用局部化的基于树的搜索，确保计算效率。
• 建立基于高斯过程方法的理论遗憾保证，其性能为阶最优（忽略多项式对数因子）。

提出的方法

• 该算法使用二叉树递归划分领域 $\mathcal{X}$，实现对高性能区域的局部化与自适应精炼。
• 在每个时间步，算法估计最优函数值，并采用基于阈值的剪枝准则，剔除不太可能包含最大化器的节点。
• 通过聚焦于函数值超过动态更新阈值的子树，使搜索沿着树向下推进，确保集中于高性能区域。
• 通过将优化限制在小而精细的子域内，避免对 UCB 代理函数进行全局最大化，从而降低计算成本。
• 置信参数 $\delta_0$ 控制排除真实最大化器的概率，确保理论遗憾保证。
• 该算法利用高斯过程后验均值与标准差计算置信上界，但仅在活跃且不断缩小的子域内进行。

实验结果

研究问题

• RQ1 基于高斯过程的贝叶斯优化算法能否实现阶最优的遗憾性能，与理论下界仅相差对数因子？
• RQ2 通过基于树的剪枝实现领域收缩，能否在不牺牲遗憾性能的前提下降低基于高斯过程优化的计算复杂度？
• RQ3 在收缩子域中采用局部化搜索策略，与全局 UCB 最大化相比，在遗憾性能与效率方面表现如何？
• RQ4 自适应阈值设定与迭代精炼对收敛速度与计算成本有何影响？
• RQ5 所提方法能否在高维设置下显著降低时间复杂度的同时，仍保持强遗憾保证？

主要发现

• GP-ThreDS 实现了阶最优的遗憾性能，与理论下界仅相差一个多项式对数因子，是首个具备此类保证的基于高斯过程的算法。
• 与 GP-UCB 相比，该算法将计算复杂度降低了 $O(T^{2d-1})$ 倍，主要得益于避免了全局 UCB 最大化。
• 在 MNIST 数据集上的卷积神经网络超参数调优实验中，GP-ThreDS 的平均遗憾低于 GP-UCB、IGP-UCB、EI 和 PI，尤其在有限的时钟时间限制下表现更优。
• GP-ThreDS 的优化时间与 AD 相当，但显著低于 IGP-UCB 和 EI，表明其具有更高的计算效率。
• 尽管优化时间相近，GP-ThreDS 在总时间（包含 CNN 训练时间）上显著优于其他算法，归因于更快的收敛速度与更优的超参数选择。
• 在 10 次蒙特卡洛运行中，该算法的性能保持稳定，始终在遗憾减少与时间效率方面表现出显著优势。