[论文解读] STRATUM: A Serverless Framework for the Lifecycle Management of Machine Learning-based Data Analytics Tasks

Anirban Bhattacharjee, Yogesh Barve+4 more|arXiv (Cornell University)|Jan 1, 2019

IoT and Edge/Fog Computing参考文献 6被引用 6

一句话总结

Stratum 是一个无服务器框架，可自动管理跨云、雾和边缘环境的基于机器学习的数据分析工作流的生命周期。它动态调度并编排数据摄入、批处理、流处理、推理和可视化工具，通过抽象化基础设施异构性和资源管理，降低部署复杂性和运营成本。

ABSTRACT

With the proliferation of machine learning (ML) libraries and frameworks, and the programming languages that they use, along with operations of data loading, transformation, preparation and mining, ML model development is becoming a daunting task. Furthermore, with a plethora of cloud-based ML model development platforms, heterogeneity in hardware, increased focus on exploiting edge computing resources for low-latency prediction serving and often a lack of a complete understanding of resources required to execute ML workflows efficiently, ML model deployment demands expertise for managing the lifecycle of ML workflows efficiently and with minimal cost. To address these challenges, we propose an end-to-end data analytics, a serverless platform called Stratum. Stratum can deploy, schedule and dynamically manage data ingestion tools, live streaming apps, batch analytics tools, ML-as-a-service (for inference jobs), and visualization tools across the cloud-fog-edge spectrum. This paper describes the Stratum architecture highlighting the problems it resolves.

研究动机与目标

• 解决在异构计算环境中管理多样化机器学习库、框架和数据管道所带来的日益增长的复杂性。
• 降低在分布式系统中高效部署和管理机器学习工作流所需的运营负担和专业知识要求。
• 在云-雾-边缘连续体中实现批处理、流处理和推理工作负载的无缝执行，且手动配置最少。
• 提供统一的无服务器抽象，用于编排多样化的数据和机器学习任务，并支持动态资源分配。
• 通过智能管理跨异构基础设施的资源供应和工作负载调度，最小化部署和运营成本。

提出的方法

• 设计统一的无服务器抽象层，将机器学习工作流逻辑与底层基础设施的供应和管理解耦。
• 在一个统一的编排框架中集成多种数据摄入工具、批处理分析、实时流处理应用和机器学习推理服务的支持。
• 基于延迟、资源可用性和数据局部性，在云、雾和边缘节点之间实现动态调度和工作负载放置。
• 通过容器化执行环境和标准化的机器学习组件接口，抽象硬件和软件异构性。
• 实现机器学习分析任务的自动生命周期管理——包括资源供应、执行、监控和清理——而无需持久化基础设施。
• 将可视化和监控工具作为工作流管道中的第一类组件，实现端到端可观测性。

实验结果

研究问题

• RQ1 无服务器框架如何有效管理在异构云-雾-边缘环境中多样化的基于机器学习的数据分析工作流的生命周期？
• RQ2 哪些架构模式能够实现在统一平台中对批处理、流处理和推理工作负载的动态调度和资源分配？
• RQ3 对基础设施复杂性的抽象在多大程度上可以降低机器学习部署管道中的运营开销和成本？
• RQ4 一个单一框架在多大程度上可以支持端到端的数据分析管道，包括数据摄入、转换、模型推理和可视化？
• RQ5 哪些机制能够确保在分布式、异构执行环境中高效的工作负载放置和性能隔离？

主要发现

• Stratum 有效抽象了基础设施异构性，实现了在云、雾和边缘节点之间无缝部署机器学习工作流，而无需底层配置。
• 该框架通过自动化机器学习和数据分析组件的资源供应、调度和清理，显著降低了运营复杂性。
• 在云-雾-边缘堆栈中实现的动态工作负载调度，提升了对延迟敏感的推理和流处理工作负载的响应时间和资源利用率。
• 无服务器抽象使开发人员能够专注于业务逻辑而非基础设施，从而加快部署速度并缩短上市时间。
• 将可视化和监控工具集成到工作流管道中，增强了对机器学习管道的可观测性和调试能力。
• 该平台在分布式、异构环境中实现了端到端机器学习分析工作流的可行性与可扩展性。