[论文解读] Ease.ml: Towards Multi-tenant Resource Sharing for Machine Learning Workloads

Tian Li, Jie Zhong+3 more|arXiv (Cornell University)|Aug 24, 2017

Advanced Bandit Algorithms Research参考文献 21被引用 17

一句话总结

本文介绍了 ease.ml，这是一个声明式机器学习服务平台，使苏黎世联邦理工学院的非计算机科学研究人员能够实现多租户资源共享。该平台提出了一种新颖的成本感知、多租户模型选择算法，结合多臂赌博机与贝叶斯优化，并具备理论上的遗憾边界，在真实世界图像分类工作负载中，其收敛速度比启发式方法快达 9.8 倍。

ABSTRACT

We present ease.ml, a declarative machine learning service platform we built to support more than ten research groups outside the computer science departments at ETH Zurich for their machine learning needs. With ease.ml, a user defines the high-level schema of a machine learning application and submits the task via a Web interface. The system automatically deals with the rest, such as model selection and data movement. In this paper, we describe the ease.ml architecture and focus on a novel technical problem introduced by ease.ml regarding resource allocation. We ask, as a "service provider" that manages a shared cluster of machines among all our users running machine learning workloads, what is the resource allocation strategy that maximizes the global satisfaction of all our users? Resource allocation is a critical yet subtle issue in this multi-tenant scenario, as we have to balance between efficiency and fairness. We first formalize the problem that we call multi-tenant model selection, aiming for minimizing the total regret of all users running automatic model selection tasks. We then develop a novel algorithm that combines multi-armed bandits with Bayesian optimization and prove a regret bound under the multi-tenant setting. Finally, we report our evaluation of ease.ml on synthetic data and on one service we are providing to our users, namely, image classification with deep neural networks. Our experimental evaluation results show that our proposed solution can be up to 9.8x faster in achieving the same global quality for all users as the two popular heuristics used by our users before ease.ml.

研究动机与目标

• 解决在多个非计算机科学研究人员共享集中式 GPU 和存储集群的多租户机器学习环境中，高效且公平的资源分配挑战。
• 将多租户模型选择问题形式化为在所有用户之间最小化总遗憾，以在共享基础设施中平衡效率与公平性。
• 设计一种新颖的算法，将多臂赌博机与贝叶斯优化相结合，以在异构模型成本和性能下优化资源分配。
• 为所提出的算法在多租户、成本感知设置下提供理论遗憾边界，确保所有用户全局满意。
• 在合成数据和真实世界图像分类任务上评估系统，以证明其在性能上优于现有基于启发式的方法。

提出的方法

• 将多租户模型选择问题形式化为跨所有用户的全局遗憾最小化目标，同时考虑模型性能和执行成本。
• 将成本感知机制整合到 GP-UCB（高斯过程上置信度上限）框架中，优先选择高价值、低成本的模型评估。
• 使用多任务高斯过程估计器对用户间的性能进行建模，将每个用户的模型搜索视为一个独立但相关的任务。
• 设计一种混合执行策略，允许多个用户同时评估多个模型，提高探索效率。
• 实现一种动态资源分配策略，平衡租户之间的探索（寻找更优模型）与开发（偏好高性能模型）。
• 理论分析在多租户、成本感知设置下提供了遗憾边界，证明了所提算法的收敛性保证。

实验结果

研究问题

• RQ1 如何为多租户模型选择定义一个全局优化目标，以在具有异构工作负载的多个用户之间平衡公平性与效率？
• RQ2 将模型执行成本纳入多租户模型选择过程会产生何种影响？其对收敛速度和质量有何影响？
• RQ3 结合多臂赌博机与贝叶斯优化的混合方法是否能在真实世界机器学习工作负载中优于基于启发式的方法？
• RQ4 在共享 GPU 环境中，该算法在面对具有不同数据规模和模型复杂度的多个用户时，其可扩展性如何？
• RQ5 在多租户、成本感知设置下，该算法的理论保证（如遗憾边界）是什么？

主要发现

• 所提出的多租户模型选择算法在达到相同全局模型质量方面，收敛速度比实践中广泛使用的两种启发式方法快达 9.8 倍。
• 该系统通过智能平衡探索与开发，同时尊重模型执行成本，显著降低了所有用户的总遗憾。
• 将成本感知机制整合到 GP-UCB 框架中，实现了更高效的资源利用，避免了对高成本、低收益模型的浪费性评估。
• 在真实世界图像分类工作负载上的评估表明，即使在高用户并发情况下，ease.ml 在速度和模型质量方面也优于启发式方法。
• 该算法在多租户、成本感知设置下的理论遗憾边界已建立，为收敛性提供了正式保证。
• 该系统在苏黎世联邦理工学院实际生产环境中展现出可行性，已为超过十个跨学科研究团队提供服务，涵盖多样化的机器学习工作负载。