[论文解读] ModelCI-e: Enabling Continual Learning in Deep Learning Serving Systems

Yizheng Huang, Huaizheng Zhang+3 more|arXiv (Cornell University)|Jun 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 16被引用 6

一句话总结

ModelCI-e 是一个轻量级、基于插件的 MLOps 系统，通过集成模型工厂、CL 后端和协作式 Web 界面，实现了深度学习推理系统中的持续学习。它在无需修改推理引擎的前提下，自动化了模型更新与验证，显著降低了运维开销，并通过最小化训练与推理工作负载之间的干扰，提升了系统效率。

ABSTRACT

MLOps is about taking experimental ML models to production, i.e., serving the models to actual users. Unfortunately, existing ML serving systems do not adequately handle the dynamic environments in which online data diverges from offline training data, resulting in tedious model updating and deployment works. This paper implements a lightweight MLOps plugin, termed ModelCI-e (continuous integration and evolution), to address the issue. Specifically, it embraces continual learning (CL) and ML deployment techniques, providing end-to-end supports for model updating and validation without serving engine customization. ModelCI-e includes 1) a model factory that allows CL researchers to prototype and benchmark CL models with ease, 2) a CL backend to automate and orchestrate the model updating efficiently, and 3) a web interface for an ML team to manage CL service collaboratively. Our preliminary results demonstrate the usability of ModelCI-e, and indicate that eliminating the interference between model updating and inference workloads is crucial for higher system efficiency.

研究动机与目标

• 为解决生产环境中深度学习系统面临的概念漂移问题，通过支持持续模型更新来应对。
• 减少研究团队与 DevOps 团队在模型部署与维护过程中的人工、高成本操作。
• 为现有推理系统（如 TensorFlow Serving 和 Clipper）提供无缝的持续学习集成路径。
• 最小化共享机器学习集群中并发训练与推理工作负载之间的相互干扰。
• 通过统一的 Web 界面，支持机器学习研究人员与生产工程师之间的端到端协作。

提出的方法

• ModelCI-e 引入了模型工厂，使 CL 研究人员能够使用熟悉的深度学习框架（如 PyTorch）以极少代码量进行模型原型设计与基准测试。
• 它采用 CL 后端，自动化并编排生产环境中的模型训练、验证与部署工作流。
• 通过配置模板与现有推理引擎集成，实现即插即用的部署，无需修改引擎代码。
• 基于 Web 的仪表板支持基于角色的协作，实时显示服务状态、更新历史、模型卡片和验证报告。
• 模型卡片包含基准指标（如准确率、模型大小效率）、训练数据统计信息，以及用于可复现性的 SQL 查询。
• 系统监控概念漂移程度，并提供性能退化洞察，支持主动进行模型更新。

实验结果

研究问题

• RQ1 如何在不修改底层推理引擎的前提下，高效地将持续学习集成到现有的深度学习推理系统中？
• RQ2 在生产集群的共享 GPU 资源上并行运行训练与推理任务，其性能影响如何？
• RQ3 如何优化机器学习研究人员与 DevOps 工程师之间的协作工作流，以实现持续的模型更新？
• RQ4 在共享集群环境中，模型更新在多大程度上干扰了推理延迟与训练吞吐量？
• RQ5 统一的轻量级插件系统是否能在保持高系统效率的同时，显著降低持续学习部署的运维开销？

主要发现

• ModelCI-e 通过统一的 Web 界面实现了研究人员与工程师之间的自动化协作工作流，显著减少了模型更新的人工操作。
• 系统表明，模型更新与推理工作负载之间存在显著干扰：训练 Faster R-CNN 模型会使 95% 分位数推理延迟增加超过 3 倍。
• 并发的推理与训练会降低 GPU 资源利用效率，由于资源争用，训练速度每轮下降 1.31 倍至 2.74 倍。
• 该系统的架构有效解耦了模型开发与部署，使研究人员能够无缝进行 CL 模型原型设计，工程师能够顺畅管理生产发布。
• 初步结果表明，消除训练与推理之间的干扰对于实现持续学习系统中的高效率至关重要。
• 模型卡片功能通过记录训练数据统计、损失函数和用于数据爬取与验证的 SQL 查询，实现了完整的可复现性。