[论文解读] Gaussian Process Optimization with Adaptive Sketching: Scalable and No Regret

Daniele Calandriello, Luigi Carratino+3 more|arXiv (Cornell University)|Mar 13, 2019

Spreadsheets and End-User Computing被引用 40

一句话总结

引入 BKB，一种预算内的核带宽算法，通过岭回归杠杆分数抽样使用自适应诱导点来近似 GP-UCB，在显著降低运行时间和内存消耗的同时实现近似最优的遗憾界。

ABSTRACT

Gaussian processes (GP) are a well studied Bayesian approach for the optimization of black-box functions. Despite their effectiveness in simple problems, GP-based algorithms hardly scale to high-dimensional functions, as their per-iteration time and space cost is at least quadratic in the number of dimensions $d$ and iterations $t$. Given a set of $A$ alternatives to choose from, the overall runtime $O(t^3A)$ is prohibitive. In this paper we introduce BKB (budgeted kernelized bandit), a new approximate GP algorithm for optimization under bandit feedback that achieves near-optimal regret (and hence near-optimal convergence rate) with near-constant per-iteration complexity and remarkably no assumption on the input space or covariance of the GP. We combine a kernelized linear bandit algorithm (GP-UCB) with randomized matrix sketching based on leverage score sampling, and we prove that randomly sampling inducing points based on their posterior variance gives an accurate low-rank approximation of the GP, preserving variance estimates and confidence intervals. As a consequence, BKB does not suffer from variance starvation, an important problem faced by many previous sparse GP approximations. Moreover, we show that our procedure selects at most $\ ilde{O}(d_{eff})$ points, where $d_{eff}$ is the effective dimension of the explored space, which is typically much smaller than both $d$ and $t$. This greatly reduces the dimensionality of the problem, thus leading to a $O(TAd_{eff}^2)$ runtime and $O(A d_{eff})$ space complexity.

研究动机与目标

• 激发可扩展的黑盒优化，那里基于GP的方法计算成本高。
• 开发保留不确定性量化和遗憾保证的稀疏GP/线性带宽近似。
• 提供一个自适应诱导点选择机制，使之随问题的有效维度扩展。
• 在显著降低每次迭代复杂度的同时，保证近似最优的遗憾。

提出的方法

• 将 GP-UCB 与基于 Nyström 的 Nyström嵌入结合，使用大小为 m 的诱导点子集 S_t。
• 使用嵌入定义近似后验均值和方差（μ_t、σ_t^2 和 u_t 的方程）。
• 通过与后验方差相关的岭杠杆分数（RLS）采样在在线选择诱导点；以与 σ_t^2 成比例的概率以及可调参数 q̄ 包含点。
• 证明方差估计 σ_t^2 是一种 DTC 风格方差，避免方差饥饿并与 RLS 相关。
• 提供理论保证：σ_t^2 相对于精确的 σ_t^2 的界限，以及 |S_t| 相对于有效维度 d_eff 的上界。
• 推导出与 GP-UCB 相符的遗憾界，常数因子外，单位步的计算复杂度为 O(T A d_eff^2) 且空间为 O(A d_eff)。

实验结果

研究问题

• RQ1 GP 基带宽优化是否可以在不牺牲遗憾保证的前提下扩展到高维和长时间 horizon？
• RQ2 基于诱导点的稀疏近似是否能保留准确的方差估计与置信区间，避免方差饥饿？
• RQ3 诱导点集合应如何自适应选择以反映所探索空间的有效维度？
• RQ4 用自适应草图方法替代 GP-UCB 时，在计算和内存复杂度上有哪些改进？
• RQ5 在带臂反馈下，所提方法是否实现接近精确 GP-UCB 的遗憾界？

主要发现

• BKB 实现了接近最优的遗憾，与在标准假设下的 GP-UCB 相当。
• 使用带自适应诱导点的 Nyström 嵌入实现每步运行时 O(TAd_eff^2) 和空间 O(Ad_eff)。
• 通过基于后验方差的岭杠杆分数采样选择诱导点，能在高概率下接近精确 GP 后验。
• 该方法通过维持方差估计在真实后验方差的常数因子范围内，避免方差饥饿。
• 诱导点集合 |S_t| 的大小随有效维度 d_eff 而定，提供与问题难度相关的自适应复杂度。
• 理论结果显示 σ_t^2(d) / α ≤ σ̃_t^2(d) ≤ α σ_t^2(d)，α 取决于所选参数，且遗憾 R_T 与 d_eff 和 T 有界。