[论文解读] Clipper: A Low-Latency Online Prediction Serving System

Daniel Crankshaw, Xin Wang+4 more|arXiv (Cornell University)|Dec 9, 2016

Data Stream Mining Techniques参考文献 36被引用 81

一句话总结

Clipper 是一个通用的、低延迟的预测推理服务系统，通过模块化、分层的架构将在线推理与机器学习框架解耦。它利用缓存、自适应批处理和跨多个框架的动态模型选择技术，降低延迟并提升吞吐量，性能与 TensorFlow Serving 相当，同时以极低的开销支持跨框架模型组合、在线学习和上下文感知个性化。

ABSTRACT

Machine learning is being deployed in a growing number of applications which demand real-time, accurate, and robust predictions under heavy query load. However, most machine learning frameworks and systems only address model training and not deployment. In this paper, we introduce Clipper, a general-purpose low-latency prediction serving system. Interposing between end-user applications and a wide range of machine learning frameworks, Clipper introduces a modular architecture to simplify model deployment across frameworks and applications. Furthermore, by introducing caching, batching, and adaptive model selection techniques, Clipper reduces prediction latency and improves prediction throughput, accuracy, and robustness without modifying the underlying machine learning frameworks. We evaluate Clipper on four common machine learning benchmark datasets and demonstrate its ability to meet the latency, accuracy, and throughput demands of online serving applications. Finally, we compare Clipper to the TensorFlow Serving system and demonstrate that we are able to achieve comparable throughput and latency while enabling model composition and online learning to improve accuracy and render more robust predictions.

研究动机与目标

• 解决缺乏支持多种机器学习框架的通用、低延迟预测服务系统的问题。
• 在不修改底层机器学习框架的前提下，降低推理延迟并提高吞吐量。
• 通过动态模型选择、集成方法和不确定性估计，提升预测精度和鲁棒性。
• 在不牺牲性能的前提下，实现跨模型的在线学习和个性化。
• 提供模块化、可扩展的架构，支持新模型和框架的快速集成。

提出的方法

• Clipper 采用两层架构：模型抽象层抽象了不同框架的模型接口，支持透明的部署和执行。
• 模型选择层使用上下文Bandit算法和集成技术，动态选择并组合多个模型的预测结果，以提升精度和鲁棒性。
• 在模型抽象层应用缓存和自适应批处理，以控制尾部延迟，并在查询负载下最大化吞吐量。
• 在模型选择层使用尾部延迟缓解机制，避免等待慢速模型，从而降低端到端延迟。
• 系统使用 Rust 实现，并提供统一的 API，使得新框架的集成仅需不到 25 行代码。
• Clipper 支持跨框架模型组合和在线学习，能够动态适应用户特定反馈和不断变化的数据。

实验结果

研究问题

• RQ1 如何使预测服务系统在多种机器学习框架下实现低延迟且有界延迟？
• RQ2 模块化、通用的预测服务系统能否达到像 TensorFlow Serving 这类高度集成系统的性能？
• RQ3 在在线推理场景中，动态模型选择如何提升预测精度和鲁棒性？
• RQ4 哪些机制能够在不修改底层机器学习框架的前提下，实现高效的缓存和批处理？
• RQ5 在线学习和个性化能否有效集成到低延迟服务系统中？

主要发现

• Clipper 在所有基准数据集上均实现了低于 20ms 的尾部延迟，证明了在高负载下具有严格的延迟约束。
• 通过缓存和自适应批处理，吞吐量最高提升了 26 倍，即使在高查询量下依然有效。
• Clipper 在吞吐量和延迟性能上与 TensorFlow Serving 相当，同时支持显著更多的功能。
• 该系统支持动态模型组合和在线学习，在真实场景中提升了精度和鲁棒性。
• 新机器学习框架的集成仅需不到 25 行代码，证明了其高度可扩展性。
• 模型选择层中的尾部延迟缓解机制有效降低了延迟，避免了对慢速模型的依赖。