[论文解读] Continual-Learning-as-a-Service (CLaaS): On-Demand Efficient Adaptation of Predictive Models

Rudy Semola, Vincenzo Lomonaco+1 more|arXiv (Cornell University)|Jun 14, 2022

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文提出了持续学习即服务（Continual-Learning-as-a-Service, CLaaS），一种新型的MLOps增强型软件服务范式，通过持续学习（CL）策略实现按需、高效且有状态的模型自适应。该研究通过基于微服务的系统'Continual Brain'实现了CLaaS，其训练时间与内存使用量相比传统累积重训练最高减少8倍，在真实世界的视觉识别与时尚识别任务中展现出显著的效率提升。

ABSTRACT

Predictive machine learning models nowadays are often updated in a stateless and expensive way. The two main future trends for companies that want to build machine learning-based applications and systems are real-time inference and continual updating. Unfortunately, both trends require a mature infrastructure that is hard and costly to realize on-premise. This paper defines a novel software service and model delivery infrastructure termed Continual Learning-as-a-Service (CLaaS) to address these issues. Specifically, it embraces continual machine learning and continuous integration techniques. It provides support for model updating and validation tools for data scientists without an on-premise solution and in an efficient, stateful and easy-to-use manner. Finally, this CL model service is easy to encapsulate in any machine learning infrastructure or cloud system. This paper presents the design and implementation of a CLaaS instantiation, called LiquidBrain, evaluated in two real-world scenarios. The former is a robotic object recognition setting using the CORe50 dataset while the latter is a named category and attribute prediction using the DeepFashion-C dataset in the fashion domain. Our preliminary results suggest the usability and efficiency of the Continual Learning model services and the effectiveness of the solution in addressing real-world use-cases regardless of where the computation happens in the continuum Edge-Cloud.

研究动机与目标

• 解决工业机器学习部署中持续学习基础设施缺乏可扩展性、高效性与用户友好性的问题。
• 弥合研究导向的持续学习与动态、非平稳环境下的真实世界MLOps工作流之间的差距。
• 实现低代价、有状态的模型更新，且无需深入掌握持续学习技术。
• 支持端到云计算环境中的实时推理与持续模型自适应。

提出的方法

• 将CLaaS设计为面向服务的范式，将持续学习与持续集成/持续部署（CI/CD）流水线相集成。
• 通过基于微服务的实现方式构建'Continual Brain'，作为CLaaS的具体实例，扩展Avalanche框架以提升模块化与可扩展性。
• 采用基于回放的CL策略并使用固定大小的内存缓冲区，以缓解灾难性遗忘，同时保持推理效率。
• 通过CI/CD流水线自动化模型重训练与验证，实现无需完整重训练的按需、有状态更新。
• 在两个真实世界数据集上对CLaaS进行基准测试：CORe50用于物体识别，DeepFashion-C用于时尚属性与类别预测。
• 配置超参数，如memory_size（CORe50为5000，DeepFashion-C为15000），以优化性能与效率的权衡。

实验结果

研究问题

• RQ1 面向服务的CLaaS架构是否能有效支持真实世界机器学习应用中的按需、高效且有状态的模型自适应？
• RQ2 与传统累积重训练相比，CLaaS在训练时间、内存使用量与预测性能方面表现如何？
• RQ3 CLaaS在多大程度上可集成到端到端的MLOps与机器学习推理系统中，适用于边缘到云的部署场景？
• RQ4 在非平稳数据环境中，CLaaS能否在显著降低计算与内存成本的同时保持高预测准确性？

主要发现

• 在DeepFashion-C数据集上，与累积重训练相比，Replay CL策略在9个任务中将训练时间与内存使用量最高减少6倍，在10个任务中最高减少8倍。
• 在CORe50数据集上，基于CL的策略在显著降低计算成本的同时，达到了接近理论上限的预测性能。
• Replay CL策略的训练时间在任务数量增加时保持稳定，表明其具备良好的可扩展性与效率。
• CLaaS架构实现了无需完整重训练的高效、自动化且可复现的模型更新，证明其在工业MLOps流水线中的可行性。
• 该系统已在两个真实世界场景中成功部署并评估：机器人物体识别与时尚属性预测，证实其实际可用性。
• CLaaS与现有机器学习推理系统及MLOps工具链的集成无缝，支持边缘与云环境的部署场景。