[论文解读] Serverless Model Serving for Data Science.

Yuncheng Wu, Tien Tuan Anh Dinh+4 more|arXiv (Cornell University)|Mar 4, 2021

Cloud Computing and Resource Management参考文献 31被引用 4

一句话总结

本文评估了无服务器计算作为数据科学中机器学习模型推理服务的可行平台，表明在特定条件下，其在成本和延迟方面优于传统云服务和基于GPU的系统。作者在AWS和GCP上进行了跨云的性能与成本评估，显示无服务器计算在效率上可与GPU系统比肩甚至超越，尤其适用于可变或低至中等负载的工作场景。

ABSTRACT

Machine learning (ML) is an important part of modern data science applications. Data scientists today have to manage the end-to-end ML life cycle that includes both model training and model serving, the latter of which is essential, as it makes their works available to end-users. Systems for model serving require high performance, low cost, and ease of management. Cloud providers are already offering model serving options, including managed services and self-rented servers. Recently, serverless computing, whose advantages include high elasticity and fine-grained cost model, brings another possibility for model serving. In this paper, we study the viability of serverless as a mainstream model serving platform for data science applications. We conduct a comprehensive evaluation of the performance and cost of serverless against other model serving systems on two clouds: Amazon Web Service (AWS) and Google Cloud Platform (GCP). We find that serverless outperforms many cloud-based alternatives with respect to cost and performance. More interestingly, under some circumstances, it can even outperform GPU-based systems for both average latency and cost. These results are different from previous works' claim that serverless is not suitable for model serving, and are contrary to the conventional wisdom that GPU-based systems are better for ML workloads than CPU-based systems. Other findings include a large gap in cold start time between AWS and GCP serverless functions, and serverless' low sensitivity to changes in workloads or models. Our evaluation results indicate that serverless is a viable option for model serving. Finally, we present several practical recommendations for data scientists on how to use serverless for scalable and cost-effective model serving.

研究动机与目标

• 评估无服务器计算作为数据科学应用中主流模型推理服务平台的可行性。
• 比较无服务器计算与传统云服务及GPU加速模型推理系统在性能和成本方面的差异。
• 识别性能瓶颈及跨平台差异，特别是AWS与GCP之间冷启动延迟的差异。
• 为数据科学家提供利用无服务器技术实现可扩展、成本效益高的模型推理服务的实际建议。
• 挑战当前普遍认为无服务器计算不适合机器学习工作负载，且GPU系统在模型推理方面天然更优的观念。

提出的方法

• 对AWS和Google云平台（GCP）上的模型推理系统进行全面基准测试评估。
• 使用真实世界的数据科学工作负载，测量不同模型类型和输入大小下的延迟、吞吐量及成本。
• 实现并比较多种模型推理架构：无服务器函数（AWS Lambda、GCP Cloud Functions）、托管GPU实例以及自建CPU/GPU服务器。
• 分析AWS与GCP无服务器平台之间冷启动性能的差异。
• 评估系统对工作负载波动及模型复杂度变化的敏感性。
• 基于不同场景下的性能与成本权衡，推导出实用的部署指南。

实验结果

研究问题

• RQ1 与基于GPU的系统及托管云服务相比，无服务器计算在机器学习模型推理中能否实现具有竞争力的性能和成本效率？
• RQ2 AWS与GCP无服务器函数的冷启动延迟有何差异，其对整体系统性能有何影响？
• RQ3 在何种工作负载条件下，无服务器计算在延迟和成本方面均优于GPU加速系统？
• RQ4 无服务器模型推理对模型大小、输入数据或请求频率变化的敏感度如何？
• RQ5 数据科学家在采用无服务器技术实现可扩展、成本效益高的模型推理服务时，应考虑哪些实际部署因素？

主要发现

• 无服务器计算在成本和性能方面优于许多云服务替代方案，尤其适用于中低请求频率的工作负载。
• 在特定条件下，无服务器计算实现了比GPU系统更低的平均延迟和成本，挑战了GPU在推理任务中始终更优的假设。
• AWS与GCP无服务器函数之间存在显著的冷启动延迟差距，其中GCP的冷启动时间明显更长。
• 无服务器计算对工作负载规模和模型复杂度变化表现出较低的敏感性，表明其对动态数据科学工作负载具有强大的适应能力。
• 无服务器计算在可变或突发性工作负载场景中性能与成本优势最为显著，其细粒度资源分配可有效降低空闲成本。
• 本研究为数据科学家提供了可操作的建议，以充分利用无服务器技术实现可扩展、成本效益高且性能优越的模型推理服务。