[論文レビュー] Punica: Multi-Tenant LoRA Serving

Lequn Chen, Zihao Ye+4 more|arXiv (Cornell University)|Oct 28, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

Punicaは、セグメンテッド・ギャザー行列-ベクトル乗算（SGMV）と呼ばれる新しいCUDAカーネルを導入することで、1つのGPUに複数の異なるLoRAモデルを効率的にバッチ処理できるマルチテントのLoRAサービングシステムです。この設計により、ベースの事前学習モデルを複数回複製することなく、同時に実行が可能となり、最先端のLLMサービングシステムと比較して12倍のスループットを達成し、1トークンあたりわずか2msの追加遅延で実現しています。

ABSTRACT

Low-rank adaptation (LoRA) has become an important and popular method to adapt pre-trained models to specific domains. We present Punica, a system to serve multiple LoRA models in a shared GPU cluster. Punica contains a new CUDA kernel design that allows batching of GPU operations for different LoRA models. This allows a GPU to hold only a single copy of the underlying pre-trained model when serving multiple, different LoRA models, significantly enhancing GPU efficiency in terms of both memory and computation. Our scheduler consolidates multi-tenant LoRA serving workloads in a shared GPU cluster. With a fixed-sized GPU cluster, our evaluations show that Punica achieves 12x higher throughput in serving multiple LoRA models compared to state-of-the-art LLM serving systems while only adding 2ms latency per token. Punica is open source at https://github.com/punica-ai/punica .

研究の動機と目的

• 共有GPUクラスタにおける複数のLoRAモデルの効率的でないサービングを是正すること。特に、従来のアプローチでは各モデルごとにGPUを割り当てる必要があること。
• バッチ処理を、同一モデルに限定されない、異なるLoRAモデル間でも可能にする。通常、バッチ処理は同一モデルを前提としているため、その制限を克服すること。
• 複数のLoRAモデルの重みを共有することで、最小限のGPU数に統合し、GPUの利用効率を向上させること。
• 推論中、特にサービスコストの大部分を占めるデコード段階においても低遅延を維持すること。
• 動的な統合とワークロードの移行を可能にするスケジューラを設計し、GPUリソースの最適利用を実現すること。

提案手法

• 異なるLoRAモデル間でのGPUオペレーションのバッチ処理を可能にするために、セグメント化された入力および出力データを処理できる新しいCUDAカーネル、セグメンテッド・ギャザー行列-ベクトル乗算（SGMV）の設計。
• SGMVの活用により、1つのベース事前学習モデルのコピーを再利用することで、1つのGPUが複数のLoRAモデルを同時に提供可能となる。
• 2段階のスケジューリング戦略の実装：まず、バッチサイズを最大化するために未使用のGPUに新しいリクエストをルーティングし、次に、ワークロードを統合するために既存のリクエストを積極的に移行する。
• ミリ秒レベルの遅延でLoRAアダプタ重みをオンデマンドでロードし、事前ロードを回避してメモリ圧力を軽減する。
• vLLM、FlashAttention、KvCacheの量子化といった既存の最適化技術と統合し、さらなるパフォーマンス向上を実現する。
• 同じベースモデルから微調整されたLoRAモデル間の重み相関を活用し、効率的な共有推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 同じGPU上で、モデル固有のアダプタ行列を有する複数の異なるLoRAモデルを効果的にバッチ処理することは可能か？
• RQ2 ベースモデル重みを複製せずに、異なるLoRAモデルの実行を同時に実現するために、カーネルレベルで何が最適化される必要があるか？
• RQ3 低遅延を維持しながら、共有GPUクラスタ上でマルチテントのLoRAワークロードを効率的に統合するには、どのようにスケジューラを設計すべきか？
• RQ4 事前ロードと比較して、オンデマンドでのLoRA重みロードのパフォーマンスオーバーヘッドはどの程度か？
• RQ5 複数のLoRAアダプタが同じベースモデルを共有することで、GPUメモリおよびコンピューティングリソースの利用効率はどの程度向上できるか？

主な発見

• Punicaは、同じ固定GPUクラスタ上において、最先端のLLMサービングシステムと比較して、複数のLoRAモデルを12倍のスループットで提供している。
• ベースラインシステムと比較して、1トークンあたりわずか2msの追加遅延しか発生せず、パフォーマンスオーバーヘッドが最小限であることが示された。
• SGMVにより、同一モデルと異なるモデルのリクエストをバッチ処理した場合の性能がほぼ同一となり、モデルの多様性に起因する性能低下がほとんどないことが確認された。
• オンデマンドでのLoRA重みロードはミリ秒レベルの遅延しか引き起こさず、柔軟かつ効率的なリソース割り当てを可能にした。
• スケジューラは、リクエストの動的移行により、ワークロードを効果的に統合し、GPUがアイドル状態になった際に解放を可能にした。これにより、クラスタ全体のリソース利用効率が向上した。
• システムは、大きなバッチサイズを優先することで、GPUの高い利用効率を維持しており、既存のGPUが完全に飽和するまで新しいGPUを割り当てない戦略を採用している。