[论文解读] Asynchronous Batch Bayesian Optimisation with Improved Local Penalisation

Ahsan Alvi, Bin Xin Ru+3 more|arXiv (Cornell University)|Jan 29, 2019

Machine Learning and Data Classification被引用 20

一句话总结

本文提出 PLAyBOOK，一种异步批量贝叶斯优化方法，通过使用局部惩罚机制避免冗余的批量选择，从而提升样本效率和实际运行时间性能。该方法通过利用局部估计的利普希茨常数和动态任务重分配，在较大批量尺寸下显著优于同步方法和现有异步方法。

ABSTRACT

Batch Bayesian optimisation (BO) has been successfully applied to hyperparameter tuning using parallel computing, but it is wasteful of resources: workers that complete jobs ahead of others are left idle. We address this problem by developing an approach, Penalising Locally for Asynchronous Bayesian Optimisation on $k$ workers (PLAyBOOK), for asynchronous parallel BO. We demonstrate empirically the efficacy of PLAyBOOK and its variants on synthetic tasks and a real-world problem. We undertake a comparison between synchronous and asynchronous BO, and show that asynchronous BO often outperforms synchronous batch BO in both wall-clock time and number of function evaluations.

研究动机与目标

• 为解决同步批量贝叶斯优化中的低效问题，即空闲工作进程需等待最慢任务完成。
• 通过支持异步函数评估，提升并行超参数调优中的资源利用率。
• 开发一种基于惩罚机制的方法，防止在异步设置中出现冗余的批量点选择。
• 通过利用代理模型的局部可变性特征，提升异步 BO 中的样本效率。
• 通过实证验证，异步 BO 与 PLAyBOOK 的结合在性能上优于同步方法和现有异步基线方法。

提出的方法

• 提出 PLAyBOOK，一种新颖的异步批量贝叶斯优化框架，通过在正在进行评估的区域附近对获取函数施加惩罚，实现对空闲工作进程的动态重分配。
• 引入一种新的惩罚函数，利用高斯过程代理模型的局部可变性特征（如局部利普希茨常数）来引导探索并避免冗余。
• 采用代理模型可变性的局部估计（如局部利普希茨界）来优化惩罚机制，相比全局度量，显著提升了探索效率。
• 使用高斯过程（GP）代理模型对目标函数进行建模，并维护对函数值的后验分布，以指导获取函数的最大化。
• 在新评估完成时实时更新包含惩罚项的获取函数最大化过程，支持连续的任务重分配。
• 支持基于估计局部利普希茨常数的局部（PLAyBOOK-L）和高阶局部（PLAyBOOK-LL、PLAyBOOK-HL）惩罚变体，以提升多样性与收敛性。

实验结果

研究问题

• RQ1 在实际运行时间和样本效率方面，基于局部惩罚机制的异步批量贝叶斯优化是否优于同步批量 BO？
• RQ2 基于局部可变性特征的局部惩罚策略能否改善异步 BO 中的探索效果并减少冗余？
• RQ3 在真实世界的超参数调优任务中，PLAyBOOK 与现有异步 BO 方法（如 Thompson Sampling (TS) 和 Knowledge Gradient (KB)）相比表现如何？
• RQ4 使用局部估计的利普希茨常数是否能提升性能，尤其是在批量大小增加时？
• RQ5 基于惩罚机制的方法是否本质上更适合异步设置，而非同步设置？

主要发现

• 在实际运行时间和函数评估次数方面，PLAyBOOK 均优于同步批量 BO，尤其在较大批量尺寸下表现更优。
• 在合成测试函数上，PLAyBOOK 的优化性能始终优于 TS 和 KB，其中局部利普希茨变体（PLAyBOOK-LL）表现最强。
• 在 CIFAR-10 上的真实 CNN 超参数调优任务中，PLAyBOOK 方法的测试准确率高于 TS 和 KB，其中 PLAyBOOK-HL 在 k=2 时达到 85.2% 的准确率，在 k=4 时达到 84.2%。
• 在 k=4 时，PLAyBOOK-LL 展现出验证误差下降最快的特性，表明其具有更优的收敛速度和样本效率。
• 与全局或非局部惩罚相比，使用局部利普希茨估计显著提升了性能，尤其在批量大小增加时。
• 实证结果表明，基于惩罚机制的方法本质上更适合异步设置，且 PLAyBOOK 是现有异步方法（如 TS 和 KB）的更优替代方案。