[论文解读] Batched Kernelized Bandits: Refinements and Extensions

Chenkai Ma, Keqin Chen+1 more|arXiv (Cornell University)|Mar 13, 2026

Advanced Bandit Algorithms Research被引用 0

一句话总结

本论文通过优化批次数、为自适应批次建立下界并引入一个鲁棒变体，改进并扩展了分批核化带带式（batched kernelized bandits），在与非鲁棒情形相近的 regret 下界同时提升简单 regret。

ABSTRACT

In this paper, we consider the problem of black-box optimization with noisy feedback revealed in batches, where the unknown function to optimize has a bounded norm in some Reproducing Kernel Hilbert Space (RKHS). We refer to this as the Batched Kernelized Bandits problem, and refine and extend existing results on regret bounds. For algorithmic upper bounds, (Li and Scarlett, 2022) shows that $B=O(\log\log T)$ batches suffice to attain near-optimal regret, where $T$ is the time horizon and $B$ is the number of batches. We further refine this by (i) finding the optimal number of batches including constant factors (to within $1+o(1)$), and (ii) removing a factor of $B$ in the regret bound. For algorithm-independent lower bounds, noticing that existing results only apply when the batch sizes are fixed in advance, we present novel lower bounds when the batch sizes are chosen adaptively, and show that adaptive batches have essentially same minimax regret scaling as fixed batches. Furthermore, we consider a robust setting where the goal is to choose points for which the function value remains high even after an adversarial perturbation. We present the robust-BPE algorithm, and show that a suitably-defined cumulative regret notion incurs the same bound as the non-robust setting, and derive a simple regret bound significantly below that of previous work.

研究动机与目标

• 研究带噪声 RKHS 有界函数的分批黑箱优化，聚焦在分批反馈下减少 regret。
• 确定批次数的最优值（带有精确常数）并去除 regret 上界中的冗余因子。
• 为自适应批次建立下界以评估极小极大极限（minimax 限制）。
• 扩展到鲁棒设置，使扰动在对手可控边界内，同时保留 regret 性能。

提出的方法

• 分析并改进 Batched Pure Exploration (BPE) 算法以适应广义批量大小。
• 推导随批次数增加的上界，使用修正的批量大小计划 N_i = min{ceil(T^{1-a^i}), T - sum_{j<i} N_j}，并证明接近最优的 regret O*(sqrt(T gamma_T))。
• 通过针对无限臂核化带带式建立的改变测度（change-measure）论证，给出自适应批次的下界。
• 引入 robust-BPE，通过扩展探索到对扰动鲁棒的候选集并证明累积 regret 较鲁棒前景更强。
• 与并扩展关于信息增益 gamma_T 的先前结果对比，涵盖 SE 与 Matérn 核，并处理自适应批次。
• 对简单 regret 的含义以及对对抗扰动鲁棒性的讨论。

Figure 1 : Illustration of a class of hard-to-distinguish functions $\mathcal{F}$ , where any $x\in\mathcal{X}$ can be $\epsilon$ -optimal for at most one bump function. This is an “idealized” illustration, with the actual functions used having infinite support but steady decay to zero.

实验结果

研究问题

• RQ1 在分批核化带带式中，达到近似最优 regret 的批次数（至多 1+o(1) 的误差）是多少？
• RQ2 在此设置下，自适应批次大小是否比固定批次在 minimax 意义上具有任何优势？
• RQ3 在不牺牲 regret 性能的前提下，是否可以将分批框架扩展到对手可控的对抗鲁棒目标？
• RQ4 改进的批量大小计划如何影响对 SE 与 Matérn 核的 regret 界？
• RQ5 若批量大小自适应选择，算法无关的下界是什么？

主要发现

• 带广义批量大小的 Batched Pure Exploration 可以在 B = O(log log T) 的批次数下实现接近最优的 O*(sqrt(T gamma_T)) regret。
• 改进的批量大小计划 N_i = min{ceil(T^{1-a^i}), T - sum_{j<i} N_j} 能得到更紧的批次数，并实现近似常数精确的 B ≈ (log_{1/a} log T)(1+o(1))。
• 对于 a ∈ (1/2,1)， regret 界有所改善；对于 Matérn 核，a ∈ (ν/(2ν+d), 1/2] 时，界在 gamma_bar_t 良好时成立。
• 自适应批次仅带来对下界的轻微反比多项式依赖，意味着自适应性并未显著提高 minimax regret。
• robust-BPE 算法实现的累积 regret 与非鲁棒情形相匹配，并在简单 regret 上优于先前的鲁棒结果。
• 自适应批次的下界表明，为达到接近最优的 regret，B 至少需要扩展为 Ω(log_{1/η} log T)，其中 η 依赖于核参数。

(a) SE kernel.