[论文解读] Machine Learning Operations: A Survey on MLOps Tool Support

Nipuni Tharushika Hewage, Dulani Meedeniya|arXiv (Cornell University)|Feb 21, 2022

Big Data and Business Intelligence被引用 36

一句话总结

本文对商业可用的 MLOps 工具支持进行综述，比较功能与易用性，并讨论局限性及未来研究方向。

ABSTRACT

Machine Learning (ML) has become a fast-growing, trending approach in solution development in practice. Deep Learning (DL) which is a subset of ML, learns using deep neural networks to simulate the human brain. It trains machines to learn techniques and processes individually using computer algorithms, which is also considered to be a role of Artificial Intelligence (AI). In this paper, we study current technical issues related to software development and delivery in organizations that work on ML projects. Therefore, the importance of the Machine Learning Operations (MLOps) concept, which can deliver appropriate solutions for such concerns, is discussed. We investigate commercially available MLOps tool support in software development. The comparison between MLOps tools analyzes the performance of each system and its use cases. Moreover, we examine the features and usability of MLOps tools to identify the most appropriate tool support for given scenarios. Finally, we recognize that there is a shortage in the availability of a fully functional MLOps platform on which processes can be automated by reducing human intervention.

研究动机与目标

• 通过突出 ML 项目中数据科学与 DevOps 集成挑战来激发对 MLOps 的需求。
• 调查商业可用的 MLOps 平台及其协作、迭代的全生命周期支持。
• 分析工具功能、易用性及对不同场景的适配性，以帮助平台选择。
• 识别阻碍实现完全自动化 ML 生命周期的局限性与自动化差距。
• 为改进 MLOps 工具生态系统提供未来研究方向与建议。

提出的方法

• 对广泛使用的 MLOps 平台（Kubeflow, MLFlow, Iterative Enterprise, DataRobot, Allegro/ClearML, MLReef, Streamlit）及云端产品进行审查与分类。
• 在关键功能方面比较平台：数据版本控制、超参数调优、模型/实验/版本控制、管道/版本控制、CI/CD、部署和性能监控。
• 评估跨生态系统可用性的平台独立性和编程语言支持。
• 基于描述的特征分析每个平台的优缺点及用例适用性。
• 讨论实现端到端自动化 MLOps 的当前挑战并概述未来研究方向。

实验结果

研究问题

• RQ1 现有 MLOps 平台在管理 ML 生命周期方面提供了哪些功能？
• RQ2 在数据/版本/模型/实验/管道版本控制、CI/CD、部署与监控方面，MLOps 工具的比较如何？
• RQ3 当前 MLOps 工具支持的局限性与差距阻碍了完全自动化的实现？
• RQ4 语言和框架支持如何影响不同团队对平台的适用性？
• RQ5 未来的研究方向可以推动自动化、用户友好型的 MLOps 仪表板的发展吗？

主要发现

• 许多平台提供用于 ML 生命周期管理的组件，但尚无完全端到端的自动化解决方案。
• Kubeflow 缺乏专门的 CI/CD 组件，而是利用流水线实现可重复的工作计划。
• MLflow 提供跟踪、项目、模型和注册表，但缺乏内置的笔记本、用户管理和完全的自定义能力。
• 云提供商的产品（SageMaker、Azure ML、Google AI Platform）提供广泛的 MLOps 能力，但成本高且缺乏统一的仪表板。
• 面向数据的平台（Iterative、ClearML、MLReef）加强了数据/实验/模型/版本控制和协作，但在范围和整合方面存在差异。
• 总体而言，需要一个统一、用户友好的 MLOps 仪表板，以自动化和简化 ML 工作流。