[論文レビュー] Llumnix: Dynamic Scheduling for Large Language Model Serving

Biao Sun, Ziming Huang+5 more|arXiv (Cornell University)|Jun 5, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

Llumnix は、メモリ内状態の効率的なライブ移行を用いて、複数のモデルインスタンス間で実行時リクエスト再スケジューリングを可能にする動的スケジューリングシステムである。OS風のコンテキストスイッチングをエミュレートすることで、尾遅延を10倍改善し、高優先度リクエストを最大1.5倍高速化し、最先端のシステムと比較して最大36％のコスト削減を達成する。

ABSTRACT

Inference serving for large language models (LLMs) is the key to unleashing their potential in people's daily lives. However, efficient LLM serving remains challenging today because the requests are inherently heterogeneous and unpredictable in terms of resource and latency requirements, as a result of the diverse applications and the dynamic execution nature of LLMs. Existing systems are fundamentally limited in handling these characteristics and cause problems such as severe queuing delays, poor tail latencies, and SLO violations. We introduce Llumnix, an LLM serving system that reacts to such heterogeneous and unpredictable requests by runtime rescheduling across multiple model instances. Similar to context switching across CPU cores in modern operating systems, Llumnix reschedules requests to improve load balancing and isolation, mitigate resource fragmentation, and differentiate request priorities and SLOs. Llumnix implements the rescheduling with an efficient and scalable live migration mechanism for requests and their in-memory states, and exploits it in a dynamic scheduling policy that unifies the multiple rescheduling scenarios elegantly. Our evaluations show that Llumnix improves tail latencies by an order of magnitude, accelerates high-priority requests by up to 1.5x, and delivers up to 36% cost savings while achieving similar tail latencies, compared against state-of-the-art LLM serving systems. Llumnix is publicly available at https://github.com/AlibabaPAI/llumnix.

研究の動機と目的

• リクエストのメモリ要求や遅延要件にばらつきが生じるワークロードの多様性と実行の予測不能さに起因する、深刻な隔離性の欠如、メモリ断片化、SLO 違反の課題に対処する。
• 静的スケジューリングや一般的なポリシーに限界を示す既存の LLM サービングシステムの課題を克服し、動的でマルチテナントなワークロードを効果的に処理できるようにする。
• リアルタイムのワークロード特性に基づいてリクエストをインスタンス間で動的に再スケジューリングすることで、パフォーマンス隔離と効率的なリソース利用を実現する。
• リクエストの優先度と SLO を区別することで、時間的に敏感なアプリケーションの高速化を実現するとともに、コスト効率を維持する。
• 負荷分散、断片化低減、優先度差別化といった多様な再スケジューリングのシナリオを、単一でスケーラブルなスケジューリングポリシーに統合する。

提案手法

• 実行中の推論処理中にメモリ内状態（例：KV キャッシュ）のライブ移行を活用し、最小限のダウンタイムで実行時再スケジューリングを可能にする。
• リクエストサイズ、メモリ消費量、遅延目標といったワークロードのダイナミクスに応じて反応する統合的で動的スケジューリングポリシーを設計する。
• 仮想マシンのライブ移行を模倣した軽量で GPU 最適化された移行メカニズムを実装し、シーケンス長に依存せず移行オーバーヘッドを最小限に抑える。
• 実行時モニタリングによりメモリ競合やパフォーマンス干渉を検出し、SLO を維持し、負荷をバランスさせるために能動的な再スケジューリングをトリガーする。
• モデルバージョンや異なる精度・サイズ設定に対応できるように、スケジューリングポリシーを拡張し、単一モデルおよびマルチモデルサービングをサポートする。
• 既存の LLM 推論エンジンと統合することで、後方互換性を保ちつつスケジューリングの知能を強化する。

実験結果

リサーチクエスチョン

• RQ1 LLM サービングシステムは、メモリ要件や遅延要件にばらつきが生じる予測不能で多様なワークロードを、どのように効果的に管理できるか？
• RQ2 ライブリクエスト移行は、動的 LLM 推論環境において、負荷分散を改善し、尾遅延をどの程度低減できるか？
• RQ3 統合的スケジューリングポリシーは、パフォーマンス隔離、メモリ断片化、リクエスト優先度の差別化の3つを同時に効果的に解決できるか？
• RQ4 動的再スケジューリングは、マルチインスタンス LLM デプロイにおいて、コスト効率とリソース利用効率にどのような影響を与えるか？
• RQ5 長時間にわたる自己回帰的 LLM リクエストにおけるライブ移行のパフォーマンスオーバーヘッドはどの程度で、それを無視できるほどに抑えることができるか？

主な発見

• Llumnix は、最先端の LLM サービングシステムと比較して、尾遅延を最大10倍改善した。
• 高優先度リクエストは、インテリジェントなスケジューリングと優先度制御のおかげで最大1.5倍の高速化を達成した。
• 類似した尾遅延水準を維持しながら、最大36％のコスト削減を達成し、リソース効率の向上を示した。
• シーケンス長にかかわらず、ライブ移行によるダウンタイムは無視できるほど小さく、シームレスな実行時再スケジューリングを可能にした。
• 統合的で動的スケジューリングポリシーは、負荷分散、断片化制御、パフォーマンス隔離という対立する目標を効果的に調和させた。
• 特にバースト的かつ多様なリクエストパターン下でも、Llumnix は既存のシステムを上回る性能を発揮した。