[论文解读] On Lower Bounds for Standard and Robust Gaussian Process Bandit Optimization

Xu Cai, Jonathan Scarlett|arXiv (Cornell University)|Aug 20, 2020

Advanced Bandit Algorithms Research参考文献 42被引用 8

一句话总结

该论文在非贝叶斯设置下建立了高斯过程带 bandit 优化的新型算法无关下界，提出了一种简化的证明技术，用于标准遗憾下界，且对误差概率的依赖关系得到改进。此外，首次给出了在采样点遭受对抗性污染情况下的累积遗憾联合下界，并通过将有效性范围扩展至成功概率低至 2/3，强化了对最终点被污染情形下现有边界的分析。

ABSTRACT

In this paper, we consider algorithm-independent lower bounds for the problem of black-box optimization of functions having a bounded norm is some Reproducing Kernel Hilbert Space (RKHS), which can be viewed as a non-Bayesian Gaussian process bandit problem. In the standard noisy setting, we provide a novel proof technique for deriving lower bounds on the regret, with benefits including simplicity, versatility, and an improved dependence on the error probability. In a robust setting in which every sampled point may be perturbed by a suitably-constrained adversary, we provide a novel lower bound for deterministic strategies, demonstrating an inevitable joint dependence of the cumulative regret on the corruption level and the time horizon, in contrast with existing lower bounds that only characterize the individual dependencies. Furthermore, in a distinct robust setting in which the final point is perturbed by an adversary, we strengthen an existing lower bound that only holds for target success probabilities very close to one, by allowing for arbitrary success probabilities above $\frac{2}{3}$.

研究动机与目标

• 为标准噪声高斯过程带 bandit 优化中现有下界开发一种新的、更简单的证明技术。
• 在采样点被污染的设定下，首次建立累积遗憾的联合下界，该下界同时依赖于污染程度和时间跨度。
• 改进现有针对最终返回点受对手扰动的鲁棒情形下的下界，将有效性范围扩展至成功概率低至 2/3，而不仅限于接近 1 的情况。
• 弥合非贝叶斯高斯过程带 bandit 优化中鲁棒性理论理解的空白，特别是在对抗性污染情形下。

提出的方法

• 提出一种新颖的证明策略，用于标准遗憾下界的推导，通过构造具有受控 RKHS 范数和扰动行为的函数类。
• 通过建模一个对手，使其在预算耗尽前将函数值减少至零，分析对抗性污染的影响，利用算法对真实峰值位置保持不确定性的事实。
• 引入一类在不同位置具有狭窄尖峰的函数类，以建模噪声下的可区分性挑战，从而分析识别最优点的样本复杂度。
• 使用信息论论证，界定区分具有与不具有狭窄尖峰的函数所需的样本数量，进而导出遗憾和达到最优所需时间的下界。
• 采用修改后的类型法和 Fano 不等式，推导出在任意成功概率下的下界，而不仅限于趋近于 1 的情况。
• 构建一类函数类，其中区分函数的唯一方式是采样于狭窄且低概率的区域，这迫使所需样本数与这类区域的数量成正比，且与噪声方差成反比。

实验结果

研究问题

• RQ1 能否为标准 GP bandit 优化中现有下界开发一种更简单且更通用的证明技术，以改进对误差概率 δ 的依赖？
• RQ2 在采样点遭受对抗性污染的情形下，累积遗憾对污染程度和时间跨度的根本联合依赖关系是什么？
• RQ3 能否将现有针对最终点污染情形的下界扩展至在成功概率低至 2/3 时依然成立，而非仅限于接近 1 的情况？
• RQ4 函数类的结构如何影响鲁棒 GP bandit 优化中的信息论下界？

主要发现

• 所提出的证明技术简化并强化了标准 GP bandit 优化中现有下界，实现了对误差概率 δ 的改进依赖。
• 在被污染的采样点设定下，论文建立了确定性策略的下界 Ω(‖R_T^std‖ + C(log T)^{d/2})，表明污染程度 C 与时间跨度 T 之间存在不可避免的联合依赖。
• 对于被污染的最终点情形，论文通过证明：为以至少 2/3 的概率实现 ε-最优性，需 Ω(1/ε² (log(1/ε))^{d/ν} log(1/δ)) 个样本，改进了先前工作，将有效成功概率范围扩展至 2/3。
• 分析表明，在被污染的采样点情形下，当对手在构造的函数类中至少作用于一半函数时，遗憾量级为 Ω(Tε)，导致与 C⋅M⋅T/ε 成正比的下界。
• 在被污染的最终点分析中所用的函数类确保，区分函数必须采样于狭窄且低概率的区域，每个区域因噪声影响需 Ω(σ²/ε²) 个样本。
• 结果通过表明：在相同条件下，成功概率为 2/3 时所需样本数量的量级与成功概率趋近于 1 时相同（仅差常数因子），从而填补了理论空白。