[论文解读] Desiderata for next generation of ML model serving

Sherif Akoush, Andrei Paleyes+2 more|arXiv (Cornell University)|Oct 26, 2022

Scientific Computing and Data Management被引用 5

一句话总结

本文提出了一种面向下一代机器学习模型推理平台的数据中心化设计框架，强调将推理流水线作为一等公民的数据流图、组件抽象，以及对同步/异步工作负载的支持。该框架倡导在云与边缘环境之间实现无缝部署，支持可观测性、可解释性、持续学习、合规性与资源效率——通过集成、模块化且可扩展的系统模式，实现可扩展、高效且可信的规模化机器学习推理。

ABSTRACT

Inference is a significant part of ML software infrastructure. Despite the variety of inference frameworks available, the field as a whole can be considered in its early days. This position paper puts forth a range of important qualities that next generation of inference platforms should be aiming for. We present our rationale for the importance of each quality, and discuss ways to achieve it in practice. We propose to focus on data-centricity as the overarching design pattern which enables smarter ML system deployment and operation at scale.

研究动机与目标

• 应对推理占机器学习计算资源高达90%的现状，解决对可扩展、高效且可信的机器学习推理系统日益增长的需求。
• 识别当前机器学习推理平台的关键缺陷，包括可观测性有限、对实时与边缘工作负载支持不足，以及合规性与能效核算能力薄弱。
• 提出一个面向下一代模型推理的综合性框架，将数据为中心的设计与模块化、可组合且可扩展的系统模式相统一。
• 推动研究与社区协作，构建支持持续学习、可解释性与环境可持续性的推理平台。

提出的方法

• 采用以数据流为先的设计，利用基于数据流的编程（FBP）将推理流水线建模为可执行的数据流图，实现运行时的全面可见性。
• 引入流水线组件抽象，将模型定义与部署解耦，支持在多个推理流水线中复用。
• 同时支持同步（请求-响应）与异步（流式）推理模式，并通过混合接口满足多样化的部署需求。
• 通过标准化、可移植且可组合的推理组件，实现向云与边缘环境的无缝部署。
• 集成高级可观测性功能，如上下文感知的分布漂移检测与递归归因，以支持可解释性与调试。
• 通过多模型共 serve 与动态资源超卖，嵌入资源效率，并结合自动伸缩与能效感知的成本核算。

实验结果

研究问题

• RQ1 推理平台如何通过运行时对中间数据与数据流图的访问，实现全面的可观测性与调试能力？
• RQ2 哪些架构模式最能支持在共享基础设施上共部署多个模型，同时将资源开销降至最低？
• RQ3 模型推理系统如何原生支持批处理与流式处理工作负载，同时具备低延迟、高吞吐的特性？
• RQ4 在推理流水线中，如何系统性地集成数据溯源与可解释性，以满足监管与审计要求？
• RQ5 如何将持续学习与主动学习与生产推理紧密耦合，以实现模型随时间推移的自我更新与高性能？

主要发现

• 推理占机器学习全生命周期能耗的高达90%，因此必须提供详细的能耗与二氧化碳排放度量，以实现可持续部署。
• 通过多模型共 serve 与动态资源超卖，可显著降低基础设施开销，并在大规模场景下提升运营效率。
• 采用基于 FBP 的数据流优先设计，可原生访问中间数据并实现端到端流水线可见性，从而提升调试、监控与可观测性能力。
• 上下文感知的分布漂移检测与递归归因支持更深层次的模型可解释性，有助于满足合规要求并辅助生产环境故障排查。
• 与训练流水线的无缝集成支持持续学习，使模型能够基于生产反馈自动重新训练并发布。
• 通过完整的数据溯源追踪实现‘构建时即合规’，可实现模型决策与输入敏感度的可审计性，从而保障合规性与隐私。