[论文解读] Multi-device, Multi-tenant Model Selection with GP-EI.

Yu Chen, Bojan Karlaš+3 more|arXiv (Cornell University)|Mar 17, 2018

Advanced Bandit Algorithms Research参考文献 16被引用 3

一句话总结

本文提出了一种多设备、多租户的 GP-EI 扩展方法，用于自动化机器学习中的贝叶斯优化，实现了在多个用户和设备之间的高效资源分配。该方法实现了 $O((\text{MIU}(T,K) + M)\frac{N^2}{M})$ 的遗憾界，并在用户数量远超设备数量时展现出接近线性的加速效果，显著优于独立用户调度策略。

ABSTRACT

Bayesian optimization is the core technique behind the emergence of AutoML, which holds the promise of automatically searching for models and hyperparameters to make machine learning techniques more accessible. As such services are moving towards the cloud, we ask -- {\em When multiple AutoML users share the same computational infrastructure, how should we allocate resources to maximize the global happiness of all users?} We focus on GP-EI, one of the most popular algorithms for automatic model selection and hyperparameter tuning, and develop a novel multi-device, multi-tenant extension that is aware of \emph{multiple} computation devices and multiple users sharing the same set of computation devices. Theoretically, given $N$ users and $M$ devices, we obtain a regret bound of $O(( ext{\bf {MIU}}(T,K) + M)\frac{N^2}{M})$, where $ ext{\bf {MIU}}(T,K)$ refers to the maximal incremental uncertainty up to time $T$ for the covariance matrix $K$. Empirically, we evaluate our algorithm on two applications of automatic model selection, and show that our algorithm significantly outperforms the strategy of serving users independently. Moreover, when multiple computation devices are available, we achieve near-linear speedup when the number of users is much larger than the number of devices.

研究动机与目标

• 解决在多个用户和设备共存的共享云化自动化机器学习系统中，实现高效资源分配的挑战。
• 将 GP-EI 算法扩展以支持多租户和多设备环境，同时保持理论性能保证。
• 通过优化用户和设备之间计算资源的分配，最大化全局用户满意度。
• 在分布式、共享计算基础设施中实现可扩展且高效的超参数调优。

提出的方法

• 通过在优化过程中建模用户间和设备间的依赖关系，将 GP-EI 扩展以支持多个用户和设备。
• 引入一种遗憾分析框架，考虑协方差矩阵随时间变化的最大增量不确定性（MIU）。
• 根据用户需求和不确定性降低潜力，动态分配计算时间到各个设备。
• 采用一个理论遗憾界，其规模为 $O((\text{MIU}(T,K) + M)\frac{N^2}{M})$，其中 $N$ 为用户数量，$M$ 为设备数量。
• 该方法支持设备间的并行执行，同时保持多租户之间贝叶斯优化过程的一致性。

实验结果

研究问题

• RQ1 如何将贝叶斯优化扩展以支持共享基础设施中多个用户和设备的运行？
• RQ2 在多租户、多设备环境下，GP-EI 可实现怎样的理论遗憾界？
• RQ3 当用户数量相对于可用设备数量增加时，该方法的可扩展性如何？
• RQ4 当用户数量远大于设备数量时，该算法能否实现接近线性的加速？

主要发现

• 所提出的算法实现了 $O((\text{MIU}(T,K) + M)\frac{N^2}{M})$ 的遗憾界，为多租户、多设备优化提供了理论保证。
• 实验评估表明，在两个自动模型选择应用中，该方法相较于独立用户调度策略表现出显著的性能提升。
• 当存在多个设备且用户数量远超设备数量时，该方法实现了接近线性的加速。
• 该算法在共享环境中有效平衡了探索与利用，同时保持了计算效率。