[论文解读] Corruption-Tolerant Gaussian Process Bandit Optimization

Ilija Bogunovic, Andreas Krause+1 more|arXiv (Cornell University)|Mar 4, 2020

Advanced Bandit Algorithms Research参考文献 33被引用 8

一句话总结

本文提出 Fast-Slow GP-UCB，一种在函数评估中存在对抗性污染情况下的高斯过程带 bandit 优化的抗污染算法。通过在快速、非鲁棒的 GP-UCB 实例与慢速、鲁棒的实例（置信区间扩大）之间随机切换，该方法实现了累积遗憾界 $\tilde{O}(C\sqrt{T})$，其随污染水平 $C$ 线性增长，随时间范围 $T$ 亚线性增长，且理论保证表明对 $C$ 的依赖在最坏情况下不可避免且最优。

ABSTRACT

We consider the problem of optimizing an unknown (typically non-convex) function with a bounded norm in some Reproducing Kernel Hilbert Space (RKHS), based on noisy bandit feedback. We consider a novel variant of this problem in which the point evaluations are not only corrupted by random noise, but also adversarial corruptions. We introduce an algorithm Fast-Slow GP-UCB based on Gaussian process methods, randomized selection between two instances labeled "fast" (but non-robust) and "slow" (but robust), enlarged confidence bounds, and the principle of optimism under uncertainty. We present a novel theoretical analysis upper bounding the cumulative regret in terms of the corruption level, the time horizon, and the underlying kernel, and we argue that certain dependencies cannot be improved. We observe that distinct algorithmic ideas are required depending on whether one is required to perform well in both the corrupted and non-corrupted settings, and whether the corruption level is known or not.

研究动机与目标

• 解决标准 GP-UCB 在函数评估中存在对抗性污染时缺乏鲁棒性的问题。
• 开发一种算法，即使在污染水平未知的情况下，也能在污染和非污染环境中保持性能。
• 提供明确依赖于对抗性污染水平 $C$、时间范围 $T$ 和底层核函数的理论遗憾界。
• 证明遗憾界中对 $C$ 的线性依赖在最坏情况下不可避免，从而确立该类问题的根本极限。
• 将有限臂 bandit 中的快-慢算法范式扩展至无限动作、核化 bandit 设置，其中函数值之间存在相关性。

提出的方法

• 该算法通过在两个 GP-UCB 实例之间使用随机选择机制：一个‘快速’实例（非鲁棒）和一个‘慢速’实例（鲁棒），以平衡探索与污染鲁棒性。
• 在鲁棒的‘慢速’实例中使用扩大的置信区间，以应对函数评估中潜在的对抗性扰动。
• 通过 UCB 规则应用不确定性下的乐观原则，并通过动态调整置信区间宽度来处理被污染的观测值。
• 理论分析利用 RKHS 范数约束和与核相关的信息增益 $\gamma_T$ 来界定累积遗憾。
• 通过在两个实例之间平衡探索，该方法可自适应处理未知的污染水平，避免过度依赖可能被污染的数据。
• 提出一种新颖的遗憾分析，表明累积遗憾的量级为 $\tilde{O}(C\sqrt{T})$，其中 $\tilde{O}$ 隐藏了 $T$ 的对数因子。

实验结果

研究问题

• RQ1 基于 GP 的 bandit 算法是否能在函数评估中存在对抗性污染时仍保持亚线性遗憾？
• RQ2 在核化 bandit 优化中，遗憾界对污染水平 $C$ 的线性依赖是否不可避免？
• RQ3 如何将有限臂 bandit 中的快-慢范式适配至无限动作、相关函数值空间？
• RQ4 在污染水平未知的情况下，鲁棒性与效率之间的最优权衡是什么？
• RQ5 是否可以使遗憾界独立于实例特定的间隙，同时对一般核函数仍保持非平凡性？

主要发现

• Fast-Slow GP-UCB 的累积遗憾被限制在 $\tilde{O}(C\sqrt{T})$，当 $C$ 为常数时，与已知的非污染情况下的边界一致。
• 证明了在最坏情况下对 $C$ 的线性依赖不可避免，从而为该问题建立了根本下界。
• 该算法即使在污染水平未知的情况下，也能在污染和非污染环境中实现性能平衡。
• 对于线性核，当间隙为常数时，该边界与 [Li et al., 2019] 的实例相关对数遗憾一致，但在最坏间隙情况下仍保持亚线性。
• 该方法对可影响任意子集函数评估的对抗性污染具有鲁棒性，即使攻击者针对 RKHS 中高度相关的点进行攻击。
• 分析表明，尽管函数值之间的相关性在非污染环境中具有优势，但在对抗性污染下可能放大损害，因此需要设计不同的算法。