[论文解读] Bandit optimisation of functions in the Matérn kernel RKHS

David M. Janz, David R. Burt+1 more|arXiv (Cornell University)|Jan 28, 2020

Advanced Bandit Algorithms Research参考文献 19被引用 9

一句话总结

该论文提出 π-GP-UCB，一种针对光滑参数 ν > 1 且维度 d ≥ 1 的 Matérn 核 RKHS 中函数的新型 bandit 优化算法。通过采用自适应分割的分段高斯过程上置信界，该算法首次在所有 ν > 1 和 d ≥ 1 的情况下实现了实用的次线性遗憾保证，显著提升了计算可扩展性与经验性能，优于先前的 Improved GP-UCB 等方法。

ABSTRACT

We consider the problem of optimising functions in the reproducing kernel Hilbert space (RKHS) of a Matérn kernel with smoothness parameter $ν$ over the domain $[0,1]^d$ under noisy bandit feedback. Our contribution, the $π$-GP-UCB algorithm, is the first practical approach with guaranteed sublinear regret for all $ν>1$ and $d \geq 1$. Empirical validation suggests better performance and drastically improved computational scalablity compared with its predecessor, Improved GP-UCB.

研究动机与目标

• 为 Matérn 核 RKHS 函数的 bandit 优化填补理论与经验上的差距，特别是针对 ν > 1 和任意 d ≥ 1 的情况。
• 开发一种具有可证明次线性遗憾的实用算法，以解决现有方法在低正则性函数上无法保证收敛的问题。
• 在保持强理论保证的同时，提升核化 bandit 算法的计算可扩展性。
• 收紧 Matérn 核 RKHS 有效维度的边界，从而增强现有算法的理论性能。
• 通过实证验证，π-GP-UCB 在性能与运行效率方面均优于最先进基线方法（如 Improved GP-UCB）。

提出的方法

• 该算法采用分段高斯过程上置信界（UCB）策略，将输入域划分为自适应子区域，以局部化不确定性并提升计算效率。
• 其置信区间形式为 μ_{t-1}(x) + β_t(δ)σ_{t-1}(x)，其中 μ 和 σ 分别为 GP 后验均值与标准差，而 β_t(δ) 确保高概率置信边界。
• 该算法基于信息增益估计自适应地分割区域，利用信息增益的上界指导划分过程，以平衡探索与利用。
• 在每一步计算精确的 γ^X_t 和 γ^A_t 值，以维持紧密的置信区间，从而在保证理论保证的同时实现实际部署。
• 该方法利用 Matérn 核的结构推导出更紧的有界维度边界，用于优化遗憾分析并提升性能。
• 实证评估使用了在 Matérn ν = 3/2 RKHS 中的合成函数，已知 RKHS 范数及加性均匀噪声，且两种算法均能访问真实范数以确保公平比较。

实验结果

研究问题

• RQ1 是否存在一种实用的 bandit 算法，可在 Matérn 核 RKHS 中对所有 ν > 1 和 d ≥ 1 实现次线性遗憾？
• RQ2 在 GP 基 bandit 优化中，对输入空间进行划分在计算可扩展性与经验性能方面有何提升？
• RQ3 能否通过收紧 Matérn 核 RKHS 有效维度的边界，来改善现有及新算法的遗憾保证？
• RQ4 π-GP-UCB 在合成函数与基准函数上是否在遗憾与运行时间方面均优于 Improved GP-UCB？
• RQ5 基于信息增益的自适应划分在收敛性与效率方面，相较于均匀或固定划分，优势有多大？

主要发现

• π-GP-UCB 实现了高概率遗憾界 Õ(T^{(d(2d+3)+2ν)/(d(2d+4)+4ν)}），该界对所有 ν > 1 和 d ≥ 1 均为次线性，确保收敛至全局最优。
• 实证结果表明，π-GP-UCB 在 Matérn ν = 3/2 RKHS 中的 3D 合成函数上显著优于 Improved GP-UCB，运行时间分别为 29 分钟与 30 小时。
• 在 d = 2 时，π-GP-UCB 将遗憾从 0.71（IGP-UCB）降低至 0.52（相对于均匀采样），同时将运行时间从 118 分钟减少至 97 秒。
• 尽管使用了高斯过程回归，π-GP-UCB 仍实现了近线性的实际运行时间，展现出强大的计算可扩展性。
• 该分析提供了更紧的 Matérn 核 RKHS 有效维度边界，可直接改善一系列现有核化 bandit 算法的遗憾界。
• 在标准 2D 基准函数（带噪声）上，即使 RKHS 范数未知且设为 B = 1，π-GP-UCB 的表现仍与 IGP-UCB 竞争，表明其对超参数不确定性的鲁棒性。