[论文解读] Asynchronous Parallel Bayesian Optimisation via Thompson Sampling

Kirthevasan Kandasamy, Akshay Krishnamurthy+2 more|arXiv (Cornell University)|May 25, 2017

Advanced Bandit Algorithms Research参考文献 22被引用 17

一句话总结

本文提出 asyTS，一种基于 Thompson Sampling 的异步并行贝叶斯优化方法，在时间约束下优于同步和串行方法。通过建模可变的评估时间，asyTS 实现了渐近更低的遗憾，并保持了方法的简洁性，在合成基准测试和卷积神经网络的超参数调优中均优于现有方法。

ABSTRACT

We design and analyse variations of the classical Thompson sampling (TS) procedure for Bayesian optimisation (BO) in settings where function evaluations are expensive, but can be performed in parallel. Our theoretical analysis shows that a direct application of the sequential Thompson sampling algorithm in either synchronous or asynchronous parallel settings yields a surprisingly powerful result: making $n$ evaluations distributed among $M$ workers is essentially equivalent to performing $n$ evaluations in sequence. Further, by modeling the time taken to complete a function evaluation, we show that, under a time constraint, asynchronously parallel TS achieves asymptotically lower regret than both the synchronous and sequential versions. These results are complemented by an experimental analysis, showing that asynchronous TS outperforms a suite of existing parallel BO algorithms in simulations and in a hyper-parameter tuning application in convolutional neural networks. In addition to these, the proposed procedure is conceptually and computationally much simpler than existing work for parallel BO.

研究动机与目标

• 解决在评估时间可变的并行计算环境中，串行贝叶斯优化效率低下的问题。
• 设计一种理论基础坚实、计算简单的异步并行贝叶斯优化方法。
• 证明在时间约束下，asyTS 的遗憾低于串行、同步及其他并行 BO 方法。
• 为贝叶斯优化中的异步 Thompson Sampling 提供理论保证，填补先前研究的空白。
• 在合成函数和深度学习中的真实世界超参数调优任务中，对 asyTS 进行实证验证。

提出的方法

• 通过允许工作者独立从后验分布中采样并提交结果而不需协调，将串行 Thompson Sampling 扩展到异步并行设置。
• 每个工作者通过从当前后验高斯过程（GP）中采样并最大化采样函数来选择下一个评估点。
• 该算法将评估时间建模为具有已知分布的随机变量，从而支持时间感知的遗憾分析。
• 理论分析表明，当 n 次评估分布在 M 个工作者上时，同步和异步变体的遗憾几乎等同于串行 TS 的遗憾。
• 证明异步 TS 在时间预算下可实现渐近更低的遗憾，优于同步和串行版本，原因在于更有效地利用了可变的评估时间。
• 该方法无需额外超参数或计算子程序，保持了串行 TS 的简洁性。

实验结果

研究问题

• RQ1 在时间约束下，异步并行 Thompson Sampling 是否比串行和同步并行 BO 实现更低的遗憾？
• RQ2 能否将串行 Thompson Sampling 的直接适配应用于异步并行执行，同时保持理论性能保证？
• RQ3 在收敛速度和最终性能方面，asyTS 与现有并行 BO 方法相比如何？
• RQ4 可变评估时间对并行贝叶斯优化算法的遗憾有何影响？
• RQ5 asyTS 是否在计算和概念上均比现有并行 BO 方法更简单，同时保持或提升性能？

主要发现

• 由于更好地处理了可变评估时间，asyTS 在时间约束下实现了渐近更低的遗憾，优于串行和同步并行 BO。
• 使用 asyTS 将 n 次评估分布在 M 个工作者上，其遗憾几乎等同于顺序执行 n 次评估，证明了其强大的理论效率。
• 在合成实验中，asyTS 在收敛速度和最终目标值方面优于 synTS、seqTS 以及其他并行 BO 方法（如 EI、HUCB 和 RAND）。
• 在 Cifar-10 超参数调优任务中，asyTS 平均仅需 80–88 次评估，显著少于 asyRAND（93–105）和 asyEI（83–92），显示出更高的样本效率。
• 所提出的方法在概念和计算上均比现有方法更简单，无需额外超参数或复杂子程序。
• 理论分析证实，即使在评估时间具有随机性和异质性时，asyTS 仍能保持强大的性能保证。