[论文解读] CodeReef: an open platform for portable MLOps, reusable automation actions and reproducible benchmarking

Grigori Fursin, Hervé Guillou+1 more|arXiv (Cornell University)|Jan 22, 2020

Semantic Web and Ontologies参考文献 6被引用 15

一句话总结

CodeReef 引入了一个开源、基于网络的平台，利用 Collective Knowledge (CK) 框架将机器学习模型和工作流打包为可移植、可版本化且可复现的软件制品。该平台支持跨异构系统（从物联网设备到数据中心）对机器学习模型（如 TensorFlow 上的 SSD-Mobilenet）实现自动化、跨平台的部署与基准测试，通过统一的 API 和基于交互式仪表板的众包性能测量实现。

ABSTRACT

We present CodeReef - an open platform to share all the components necessary to enable cross-platform MLOps (MLSysOps), i.e. automating the deployment of ML models across diverse systems in the most efficient way. We also introduce the CodeReef solution - a way to package and share models as non-virtualized, portable, customizable and reproducible archive files. Such ML packages include JSON meta description of models with all dependencies, Python APIs, CLI actions and portable workflows necessary to automatically build, benchmark, test and customize models across diverse platforms, AI frameworks, libraries, compilers and datasets. We demonstrate several CodeReef solutions to automatically build, run and measure object detection based on SSD-Mobilenets, TensorFlow and COCO dataset from the latest MLPerf inference benchmark across a wide range of platforms from Raspberry Pi, Android phones and IoT devices to data centers. Our long-term goal is to help researchers share their new techniques as production-ready packages along with research papers to participate in collaborative and reproducible benchmarking, compare the different ML/software/hardware stacks and select the most efficient ones on a Pareto frontier using online CodeReef dashboards.

研究动机与目标

• 解决在异构系统（尤其是边缘和嵌入式设备）中机器学习部署缺乏可复现性和可移植性的问题。
• 克服现有工具（如 Docker、Kubernetes、MLFlow 和 MLPerf）的局限性，提供一个统一、非侵入式的平台，用于共享和版本化机器学习组件。
• 使研究人员能够将机器学习模型、依赖项和工作流打包为自包含、非虚拟化且可自定义的存档，以供生产环境使用。
• 通过标准化、自动化的基准测试工作流，支持在多样化硬件和软件栈上进行协作式、众包的模型性能评估。
• 通过一致、可移植的 API，促进机器学习模型与遗留系统及实时应用（如网络摄像头推理）的集成。

提出的方法

• 利用开源的 Collective Knowledge (CK) 格式，将机器学习模型、依赖项、代码、数据和工作流表示为可版本化、基于文件的组件。
• 将机器学习解决方案打包为可移植的非虚拟化存档，包含 JSON 元数据、Python API、CLI 操作以及平台特定的构建脚本。
• 使用统一的 API（编译、运行、基准测试、验证）在包括树莓派、Android 和数据中心在内的多种平台上自动化模型部署和性能测量。
• 允许用户通过命令行客户端（例如 `cr init`、`cr benchmark`）初始化、运行和基准测试解决方案，自动解析依赖项并配置环境。
• 与现有工具（如 MLPerf、Docker 和 Kubernetes）集成，而无需替代它们，从而增强其可移植性和可复现性。
• 提供交互式仪表板，用于可视化和比较用户贡献的平台上（延迟、精度、内存、功耗）的基准测试结果。

实验结果

研究问题

• RQ1 如何在多样化的硬件和软件栈上，以可移植、非虚拟化且可复现的方式打包机器学习模型和工作流？
• RQ2 一个统一的开源平台在降低生产环境中部署机器学习模型的复杂性的同时，是否能保持与 MLPerf 和 Docker 等现有工具的兼容性？
• RQ3 社区驱动的众包基准测试在多大程度上能够提升机器学习模型的可复现性和性能评估质量？
• RQ4 如何通过版本化、模块化的组件确保在不同项目和环境中机器学习工作流的向后兼容性和稳定执行？
• RQ5 一个具有图形界面和 CLI 客户端的基于网络的平台，是否能够简化将机器学习模型集成到遗留系统和实时应用中的流程？

主要发现

• CodeReef 已成功将 MLPerf SSD-Mobilenet 目标检测模型（使用 TensorFlow 和 COCO 数据集）打包为可在树莓派、Android 和数据中心部署的可移植、可版本化解决方案。
• 该平台通过单一统一的 API 实现了模型的自动化跨平台基准测试，结果通过实时仪表板进行可视化。
• 用户仅需执行简单的 CLI 命令，即可在从笔记本电脑到嵌入式系统的各类设备上运行并测量性能（延迟、精度、内存）。
• 该解决方案展示了完整的可复现性：用户可通过依赖项和版本控制机制，基于 CK 系统在不同平台上重新执行相同工作流并获得一致结果。
• 与实时网络摄像头推理的集成展示了平台将机器学习模型与实时应用和遗留系统连接的能力。
• 该平台通过抽象复杂环境设置、依赖管理及交叉编译过程，显著减少了模型部署和基准测试中的手动工作量。