[论文解读] MLOps: A Review

Samar Wazir, Gautam Siddharth Kashyap+1 more|arXiv (Cornell University)|Aug 19, 2023

Big Data and Business Intelligence被引用 23

一句话总结

This paper surveys 22 studies on MLOps, compares tool stacks, and discusses challenges, capabilities, and future directions for operationalizing ML pipelines.

ABSTRACT

Recently, Machine Learning (ML) has become a widely accepted method for significant progress that is rapidly evolving. Since it employs computational methods to teach machines and produce acceptable answers. The significance of the Machine Learning Operations (MLOps) methods, which can provide acceptable answers for such problems, is examined in this study. To assist in the creation of software that is simple to use, the authors research MLOps methods. To choose the best tool structure for certain projects, the authors also assess the features and operability of various MLOps methods. A total of 22 papers were assessed that attempted to apply the MLOps idea. Finally, the authors admit the scarcity of fully effective MLOps methods based on which advancements can self-regulate by limiting human engagement.

研究动机与目标

• 为新接触此术语的读者提供 DevOps 与 MLOps 及 ML 生命周期的背景信息。
• 对 22 篇与 MLOps 相关的论文进行综述并综合发现，找出常见的方法与局限性。
• 比较各种 MLOps 工具的特征和可操作性，以帮助在不同项目中进行工具选择。
• 讨论 MLOps 领域的未来方向与研究空白。

提出的方法

• 对应用了 MLOps 概念的 22 篇论文进行评审。
• 分析 MLOps 工具栈及其特征（管道、数据和模型处理）。
• 在特征标准（HT、DV、PV、MD、CI/CD、PM、MEV）下比较工具。
• 评估流行 MLOps 系统的语言与平台支持。
• 讨论挑战、可扩展性，以及面向自动化、低人工干预的 MLOps 的方向。

实验结果

研究问题

• RQ1 MLOps 的核心组成部分和生命周期阶段有哪些，它们与 DevOps 的关系如何？
• RQ2 常用的 MLOps 工具与栈有哪些，它们提供了哪些特性？
• RQ3 主要挑战与局限性是什么，阻碍实现完全自主的 MLOps？
• RQ4 云服务提供商与开源平台在支持 MLOps 工作流方面的比较？
• RQ5 建议推动 MLOps 研究与实践的未来方向是什么？

主要发现

• MLOps 将 ML 与 DevOps 集成，以在模型、代码和数据组件上实现 ML 生命周期的自动化与监控。
• 对 22 篇论文的调查显示广泛使用的工具栈包括 Kubeflow、MLflow、Iterative、DataRobot、ClearML、MLReef，以及 AWS SageMaker、Azure ML、Google Cloud 等云平台产品。
• 目前的 MLOps 工具提供多种能力（CI/CD、数据与模型版本控制、部署、监控），但没有单一解决方案能有效覆盖所有需求。
• 观察到完全有效、能在最小人为干预下自我调节的 MLOps 方法仍然匮乏。
• MLOps 面临数据质量、可扩展性、可重复性和成本方面的挑战，促使未来研究走向自动化和自我管理的流水线。