[论文解读] AutoML from Service Provider's Perspective: Multi-device, Multi-tenant Model Selection with GP-EI

Chen Yu, Bojan Karlaš+3 more|arXiv (Cornell University)|Mar 17, 2018

Machine Learning and Data Classification被引用 4

一句话总结

本文提出了一种多设备、多租户的 GP-EI 算法，供 AutoML 服务提供商使用，以通过智能分配有限的计算设备来优化全局用户满意度。该方法实现了接近线性的加速效果，并显著降低了遗憾值，相较于随机或轮询调度策略，其理论遗憾界为 $O((\text{MIU}(T,K)+M)\frac{N^2}{M})$。

ABSTRACT

AutoML has become a popular service that is provided by most leading cloud service providers today. In this paper, we focus on the AutoML problem from the \emph{service provider's perspective}, motivated by the following practical consideration: When an AutoML service needs to serve {\em multiple users} with {\em multiple devices} at the same time, how can we allocate these devices to users in an efficient way? We focus on GP-EI, one of the most popular algorithms for automatic model selection and hyperparameter tuning, used by systems such as Google Vizer. The technical contribution of this paper is the first multi-device, multi-tenant algorithm for GP-EI that is aware of \emph{multiple} computation devices and multiple users sharing the same set of computation devices. Theoretically, given $N$ users and $M$ devices, we obtain a regret bound of $O(( ext{\bf {MIU}}(T,K) + M)\frac{N^2}{M})$, where $ ext{\bf {MIU}}(T,K)$ refers to the maximal incremental uncertainty up to time $T$ for the covariance matrix $K$. Empirically, we evaluate our algorithm on two applications of automatic model selection, and show that our algorithm significantly outperforms the strategy of serving users independently. Moreover, when multiple computation devices are available, we achieve near-linear speedup when the number of users is much larger than the number of devices.

研究动机与目标

• 解决多个用户共享有限计算设备时，AutoML 服务中高效资源分配的挑战。
• 设计一种成本敏感、可扩展的算法，通过最小化所有用户的累积遗憾值，最大化所有用户的全局‘满意度’。
• 为多设备、多租户 GP-EI 在共享资源分配背景下的理论遗憾界提供理论分析。
• 在真实世界的 AutoML 工作负载中，优于朴素的调度策略（如随机或轮询分配）。
• 在多个设备可用时，实现收敛时间的近似线性加速，尤其当用户数量超过设备数量时效果更显著。

提出的方法

• 所提出的 MM-GP-EI 算法使用最大增量不确定性（MIU）来建模用户之间高斯过程先验之间的依赖关系，并根据预期改进程度对用户进行优先级排序。
• 每位用户维护自己的 GP-EI 实例，共享超参数的先验分布，系统根据结合了 MIU 和设备可用性的加权采集函数选择下一个服务用户。
• 采用类似上置信界（UCB）风格的采集函数，在用户之间平衡探索与利用，并根据不确定性和预期收益动态调整权重。
• 该算法根据每单位时间的最高预期改进动态分配设备给用户，确保有限硬件资源的高效利用。
• 高效的实现方式采用共享协方差矩阵和对 MIU 的增量更新，以减少调度决策过程中的计算开销。
• 通过优先服务潜在性能提升最高的用户（尤其在不确定性较高的初期阶段），实现遗憾值的最小化。

实验结果

研究问题

• RQ1 如何设计一种多设备、多租户的 GP-EI 算法，以在共享的 AutoML 环境中优化全局用户满意度？
• RQ2 在共享设备资源约束下，此类算法的理论遗憾界是什么？
• RQ3 与随机和轮询调度相比，所提算法在收敛速度和遗憾值降低方面表现如何？
• RQ4 当设备数量增加时，该算法是否实现了近似线性的加速？
• RQ5 与基线策略相比，该算法在何种条件下展现出最显著的性能提升？

主要发现

• 在 Azure 数据集上，多租户 GP-EI 的收敛速度相比随机和轮询调度最快可提升 5 倍，达到相同的瞬时遗憾水平。
• 在 Azure 数据集上，与轮询调度相比，所提方法在达到目标瞬时遗憾水平时实现了 5 倍的加速。
• 当用户数量超过设备数量时，加速效果最为显著，随着设备数量增加，收敛性能接近线性提升。
• 在包含 50 个用户和 50 个模型的合成数据集上，收敛时间随设备数量增加而近乎线性下降。
• 理论遗憾界 $O((\text{MIU}(T,K)+M)\frac{N^2}{M})$ 收敛至最优速率，支持了观察到的加速行为。
• 在 DeepLearning 数据集上性能提升较小，原因在于初始准确率方差较低（Azure 上为 0.12，DeepLearning 上为 0.04），表明初始试验后改进空间有限。