[论文解读] Llumnix: Dynamic Scheduling for Large Language Model Serving

Biao Sun, Ziming Huang+5 more|arXiv (Cornell University)|Jun 5, 2024

Natural Language Processing Techniques被引用 4

一句话总结

Llumnix 是一种用于大规模语言模型（LLM）推理服务的动态调度系统，通过在内存状态的高效实时迁移，实现跨多个模型实例的运行时请求重调度。通过模拟操作系统级别的上下文切换，它将尾部延迟降低了一个数量级，高优先级请求的处理速度最高提升1.5倍，并且相比业界最先进的系统，可实现最高36%的成本节省。

ABSTRACT

Inference serving for large language models (LLMs) is the key to unleashing their potential in people's daily lives. However, efficient LLM serving remains challenging today because the requests are inherently heterogeneous and unpredictable in terms of resource and latency requirements, as a result of the diverse applications and the dynamic execution nature of LLMs. Existing systems are fundamentally limited in handling these characteristics and cause problems such as severe queuing delays, poor tail latencies, and SLO violations. We introduce Llumnix, an LLM serving system that reacts to such heterogeneous and unpredictable requests by runtime rescheduling across multiple model instances. Similar to context switching across CPU cores in modern operating systems, Llumnix reschedules requests to improve load balancing and isolation, mitigate resource fragmentation, and differentiate request priorities and SLOs. Llumnix implements the rescheduling with an efficient and scalable live migration mechanism for requests and their in-memory states, and exploits it in a dynamic scheduling policy that unifies the multiple rescheduling scenarios elegantly. Our evaluations show that Llumnix improves tail latencies by an order of magnitude, accelerates high-priority requests by up to 1.5x, and delivers up to 36% cost savings while achieving similar tail latencies, compared against state-of-the-art LLM serving systems. Llumnix is publicly available at https://github.com/AlibabaPAI/llumnix.

研究动机与目标

• 解决 LLM 服务中工作负载异构性和执行不可预测性带来的挑战，这些挑战导致性能隔离性差、内存碎片化以及 SLO 违规。
• 克服现有 LLM 服务系统中静态调度和通用策略的局限性，这些策略无法有效应对动态、多租户的工作负载。
• 通过基于实时工作负载特征在实例间动态重调度请求，实现性能隔离和高效的资源利用。
• 对请求优先级和 SLO 进行差异化处理，以加速对时间敏感的应用，同时保持成本效率。
• 将多种重调度场景——负载均衡、内存碎片缓解和优先级区分——统一到一个可扩展的调度策略中。

提出的方法

• 在推理过程中利用内存状态（如 KV 缓存）的实时迁移，实现近乎无停机的运行时重调度。
• 设计一种统一的动态调度策略，能够响应工作负载动态变化，包括请求大小、内存消耗和延迟目标。
• 实现一种轻量级、面向 GPU 优化的迁移机制，受虚拟机实时迁移启发，无论序列长度如何，迁移开销均保持最小。
• 通过运行时监控检测内存争用和性能干扰，主动触发重调度以维持 SLO 并实现负载均衡。
• 通过扩展调度策略以支持模型变体和不同精度/大小配置，同时支持单模型和多模型服务。
• 与现有 LLM 推理引擎集成，实现向后兼容性，同时增强调度智能。

实验结果

研究问题

• RQ1 LLM 服务系统如何有效管理具有不同内存和延迟需求的不可预测、异构工作负载？
• RQ2 在动态 LLM 推理环境中，实时请求迁移在负载均衡和降低尾部延迟方面能发挥多大作用？
• RQ3 统一的调度策略能否同时解决 LLM 服务中的性能隔离、内存碎片化和请求优先级问题？
• RQ4 动态重调度对多实例 LLM 部署中的成本效率和资源利用率有何影响？
• RQ5 对于长时间运行的自回归 LLM 请求，实时迁移的性能开销是多少？是否可以做到可忽略不计？

主要发现

• 与业界最先进的 LLM 服务系统相比，Llumnix 将尾部延迟最高降低一个数量级。
• 高优先级请求由于智能调度和优先级处理，处理速度最高提升 1.5 倍。
• 系统在保持相近尾部延迟水平的同时，实现了最高 36% 的成本节省，证明了更高的资源利用效率。
• 无论序列长度如何，实时迁移均造成可忽略的停机时间，实现了无缝的运行时重调度。
• 统一的动态调度策略有效调和了负载均衡、内存碎片控制和性能隔离之间的冲突目标。
• 在处理突发且异构的请求模式时，Llumnix 在应对不可预测工作负载方面优于现有系统。