[论文解读] Gaussian Process Optimization in the Bandit Setting: No Regret and Experimental Design

Niranjan Srinivas, Andreas Krause+2 more|Infoscience (Ecole Polytechnique Fédérale de Lausanne)|Dec 21, 2009

Gaussian Processes and Bayesian Inference参考文献 32被引用 1,049

一句话总结

本文提出了GP-UCB，一种基于上置信度的贝叶斯优化算法，适用于在强化学习Bandit设置下优化昂贵评估的目标函数，假设该函数是从高斯过程中抽取的。通过将累积遗憾与最大信息增益关联，建立了次线性遗憾边界，实现了对常见协方差函数的维度鲁棒性能。

ABSTRACT

Many applications require optimizing an unknown, noisy function that is expensive to evaluate. We formalize this task as a multi-armed bandit problem, where the payoff function is either sampled from a Gaussian process (GP) or has low RKHS norm. We resolve the important open problem of deriving regret bounds for this setting, which imply novel convergence rates for GP optimization. We analyze GP-UCB, an intuitive upper-confidence based algorithm, and bound its cumulative regret in terms of maximal information gain, establishing a novel connection between GP optimization and experimental design. Moreover, by bounding the latter in terms of operator spectra, we obtain explicit sublinear regret bounds for many commonly used covariance functions. In some important cases, our bounds have surprisingly weak dependence on the dimensionality. In our experiments on real sensor data, GP-UCB compares favorably with other heuristical GP optimization approaches.

研究动机与目标

• 解决在Bandit设置下对昂贵评估、噪声黑箱函数进行优化的挑战。
• 在最小假设下，推导基于高斯过程优化的理论遗憾边界。
• 通过信息增益建立高斯过程优化与实验设计之间的联系。
• 提供对常见协方差函数而言对维度依赖性较弱的显式遗憾边界。
• 在真实传感器数据上，通过与启发式方法对比，对方法进行实证验证。

提出的方法

• 提出GP-UCB算法，该算法将下一个评估点选择为基于GP后验均值和方差导出的上置信度的最大化点。
• 将未知函数建模为具有已知协方差核的零均值高斯过程的样本。
• 使用最优点与已评估点序列之间的最大信息增益作为关键量，以界定遗憾。
• 通过将信息增益与协方差算子的特征值关联，利用核的谱性质推导遗憾边界。
• 将该边界应用于常见核函数（如平方指数核、Matérn核），以获得显式的次线性遗憾速率。
• 在真实传感器数据上验证算法，并与启发式GP优化方法进行性能比较。

实验结果

研究问题

• RQ1 我们能否在存在噪声且昂贵评估的函数条件下，为Bandit设置下的高斯过程优化推导出理论遗憾边界？
• RQ2 最优点与评估序列之间的信息增益如何与累积遗憾相关？
• RQ3 对于常见协方差函数，遗憾边界的维度输入空间依赖性如何？
• RQ4 我们能否在不施加函数光滑性或结构强假设的前提下，为GP-UCB实现次线性遗憾？
• RQ5 在现实世界应用中，GP-UCB与启发式GP优化方法相比，实证性能如何？

主要发现

• 本文首次为Bandit设置下基于GP的优化建立了次线性遗憾边界，证明了GP-UCB可实现无遗憾性能。
• 遗憾以最大信息增益为界，该增益量化了关于最优点不确定性的减少程度。
• 对于平方指数核，当评估次数为T时，遗憾边界为O(√(T log T))，在某些情形下与维度无关。
• 对于平滑参数ν的Matérn核，遗憾边界为O(T^(1/2 + d/(2ν + d)))，表现出对维度d的弱依赖性。
• 在真实传感器数据上的实证结果表明，GP-UCB在收敛至最优解方面优于启发式GP优化策略。
• 理论框架通过信息论量建立了高斯过程优化与实验设计之间的新颖联系。