[论文解读] Parallelizing Exploration-Exploitation Tradeoffs with Gaussian Process Bandit Optimization

Thomas Desautels, Andreas Krause+1 more|arXiv (Cornell University)|Jun 27, 2012

Advanced Bandit Algorithms Research参考文献 40被引用 68

一句话总结

本文提出 GP-BUCB，一种批量贝叶斯优化算法，通过并行化高斯过程带 bandit 问题中的探索-利用权衡，实现了累积遗憾仅相对于顺序优化增加一个常数因子的缩放，从而在具有理论保证的前提下，实现高效的高通量实验设计。

ABSTRACT

Can one parallelize complex exploration exploitation tradeoffs? As an example, consider the problem of optimal high-throughput experimental design, where we wish to sequentially design batches of experiments in order to simultaneously learn a surrogate function mapping stimulus to response and identify the maximum of the function. We formalize the task as a multi-armed bandit problem, where the unknown payoff function is sampled from a Gaussian process (GP), and instead of a single arm, in each round we pull a batch of several arms in parallel. We develop GP-BUCB, a principled algorithm for choosing batches, based on the GP-UCB algorithm for sequential GP optimization. We prove a surprising result; as compared to the sequential approach, the cumulative regret of the parallel algorithm only increases by a constant factor independent of the batch size B. Our results provide rigorous theoretical support for exploiting parallelism in Bayesian global optimization. We demonstrate the effectiveness of our approach on two real-world applications.

研究动机与目标

• 为解决在可并行运行多个实验的高通量实验设计中，高效探索与利用的挑战。
• 将批量选择问题形式化为具有高斯过程先验的多臂老虎机问题，其中多个臂（实验）被同时拉动。
• 开发一种具有理论遗憾边界的系统性算法，同时支持并行执行。
• 在真实世界的实验优化任务中，展示该方法的实际有效性。

提出的方法

• 通过选择使基于置信上界获取函数最大化的 B 个点，将 GP-UCB 算法扩展到批量设置。
• 利用高斯过程后验均值和方差，为每个候选点构建置信上界，同时偏好预测值较高和不确定性较高的点。
• 批量选择采用贪心策略，迭代地将 UCB 值最高的点加入当前批次，以确保多样性与探索性。
• 通过利用集中不等式和高斯过程的性质，保持理论遗憾边界。
• 在每个批次后更新获取函数，重复该过程直至满足停止准则。

实验结果

研究问题

• RQ1 是否可以在不显著增加累积遗憾的前提下实现贝叶斯优化的并行化？
• RQ2 与顺序优化相比，批量 GP 带算法的遗憾如何随批量大小 B 变化？
• RQ3 是否可以设计一种系统性的批量选择策略，在支持高通量实验的同时保持理论保证？
• RQ4 并行性对高斯过程优化中探索-利用权衡有何影响？

主要发现

• 与顺序 GP-UCB 算法相比，GP-BUCB 的累积遗憾仅随批量大小 B 增加一个与 B 无关的常数因子。
• GP-BUCB 的理论遗憾边界关于时间 T 的缩放为 O(√(T log T))，与顺序 GP-UCB 的数量级相同。
• 在两个真实世界应用中的实证结果表明，GP-BUCB 的收敛速度更快，性能优于顺序方法和基线批量方法。
• 该算法在高通量环境中有效平衡了探索与利用，保持了优异的样本效率。