[论文解读] Gaussian Process Bandits without Regret: An Experimental Design Approach

Niranjan Srinivas, Andreas Krause+2 more|arXiv (Cornell University)|Dec 21, 2009

Advanced Bandit Algorithms Research参考文献 16被引用 34

一句话总结

本文提出了GP-UCB算法，一种基于上界置信度的高斯过程上下文多臂赌博机算法，并通过最大信息增益将高斯过程优化与实验设计相联系，建立了次线性遗憾边界。该研究为常用协方差函数推导出显式的遗憾边界，其维度依赖性出人意料地微弱，从而解决了高斯过程优化领域长期存在的开放问题。

ABSTRACT

Many applications require optimizing an unknown, noisy function that is expensive to evaluate. We formalize this task as a multi-armed bandit problem, where the payoff function is either sampled from a Gaussian process (GP) or has low RKHS norm. We resolve the important open problem of deriving regret bounds for this setting, which imply novel convergence rates for GP optimization. We analyze GP-UCB, an intuitive upper-confidence based algorithm, and bound its cumulative regret in terms of maximal information gain, establishing a novel connection between GP optimization and experimental design. Moreover, by bounding the latter in terms of operator spectra, we obtain explicit sublinear regret bounds for many commonly used covariance functions. In some important cases, our bounds have surprisingly weak dependence on the dimensionality. In our experiments on real sensor data, GP-UCB compares favorably with other heuristical GP optimization approaches.

研究动机与目标

• 解决针对昂贵评估、噪声函数的高斯过程上下文多臂赌博机的遗憾边界推导这一开放问题。
• 通过最大信息增益，建立高斯过程优化与实验设计之间的理论联系。
• 为高斯过程上下文多臂赌博机中常用的协方差函数推导出显式的次线性遗憾边界。
• 从信息论量的角度分析GP-UCB这一上界置信算法的性能。
• 在真实传感器数据上验证该算法相对于启发式方法的有效性。

提出的方法

• 本文提出GP-UCB算法，该算法基于高斯过程后验均值与方差的上界置信度选择动作。
• 通过最大信息增益（实验设计中的关键量，用于衡量任意观测序列所能获得的最大信息量）来界定累积遗憾。
• 通过协方差核的算子谱分析最大信息增益，从而为多种核函数推导出显式遗憾边界。
• 理论分析将高斯过程上下文多臂赌博机与最优实验设计联系起来，表明最小化遗憾等价于最大化信息增益。
• 为平方指数核和Matérn核推导出显式遗憾边界，显示出对输入维度的依赖性极弱。
• 在真实传感器数据上开展实验评估，将GP-UCB与启发式高斯过程优化方法进行比较。

实验结果

研究问题

• RQ1 在高斯过程上下文多臂赌博机的背景下，GP-UCB的理论遗憾边界是什么？
• RQ2 最大信息增益如何影响高斯过程优化算法的性能？
• RQ3 能否为高斯过程上下文多臂赌博机中常用的协方差函数推导出显式的次线性遗憾边界？
• RQ4 遗憾边界的维度依赖性如何？
• RQ5 GP-UCB在真实世界数据上与启发式高斯过程优化方法相比表现如何？

主要发现

• 本文通过将遗憾与最大信息增益关联，为GP-UCB建立了次线性遗憾边界，从而解决了长期存在的开放问题。
• 为平方指数核和Matérn核推导出显式遗憾边界，显示出对输入维度的依赖性出人意料地微弱。
• 通过核函数算子谱的信息论分析，正式建立了高斯过程上下文多臂赌博机与实验设计之间的联系。
• 理论分析表明，GP-UCB的收敛速率与现有启发式方法相比具有竞争力或更优。
• 在真实传感器数据上的实证结果表明，GP-UCB在实践中优于其他启发式高斯过程优化方法。
• 推导出的边界具有紧致性，适用于高斯过程回归中广泛使用的各类协方差函数。