[論文レビュー] SpecInfer: Accelerating Generative Large Language Model Serving with Tree-based Speculative Inference and Verification

Xupeng Miao, Gabriele Oliaro+13 more|arXiv (Cornell University)|May 16, 2023

Topic Modeling参考文献 39被引用数 4

ひとこと要約

本稿では、複数の共同で微調整された小規模モデル（SSMs）を用いて、木構造ベースのデコードにより並列に候補トークンを生成することで、生成的LLMのサービングを高速化するCollieというツリー型の推論フレームワークを提案する。LLaMA-30Bにおいて、逐次ベースのベースラインと比較して最大2.3倍のスループットと2.1倍の低遅延を達成しており、精度の損失を最小限に抑えつつ顕著な高速化を実現している。

ABSTRACT

This paper introduces SpecInfer, a system that accelerates generative large language model (LLM) serving with tree-based speculative inference and verification. The key idea behind SpecInfer is leveraging small speculative models to predict the LLM's outputs; the predictions are organized as a token tree, whose nodes each represent a candidate token sequence. The correctness of all candidate token sequences represented by a token tree is verified against the LLM in parallel using a novel tree-based parallel decoding mechanism. SpecInfer uses an LLM as a token tree verifier instead of an incremental decoder, which significantly reduces the end-to-end latency and computational requirement for serving generative LLMs while provably preserving model quality. Our evaluation shows that SpecInfer outperforms existing LLM serving systems by 1.5-2.8x for distributed LLM inference and by 2.6-3.5x for offloading-based LLM inference, while preserving the same generative performance. SpecInfer is publicly available at https://github.com/flexflow/FlexFlow/

研究の動機と目的

• 大規模な生成的言語モデル（LLM）のサービングにおける遅延とスループットのボトル neck を解決すること。
• 逐次ベースの推論による推論の制限を克服すること。これは、候補生成における高いメモリオーバーヘッドと逐次的依存性に起因する。
• 複数の候補パスを同時にサポートできる木構造を用いた、効率的で並列的な推論デコードを可能にすること。
• 小規模モデル（SSMs）の共同微調整を通じて、生成品質を損なわず、効率的なサービングを実現すること。
• さまざまなサンプリング戦略（グリーディ、確率的）およびモデルサイズ（LLaMA-7B、LLaMA-30B）におけるスケーラビリティとパフォーマンス向上を示すこと。

提案手法

• 事前学習済みのLLaMA-160Mモデルから共同で微調整された複数の小規模モデル（SSMs）を用い、並列に推論トークンを生成する。
• 複数の候補トークン列を同時に生成・検証できる木構造ベースのデコード構造を採用し、逐次的依存性を低減する。
• GPU間でのデータ並列処理を用いて複数のSSMsを、4台のA10 GPUに跨るテンソルモデル並列処理を用いてLLM推論をスケーリングする。
• 完全なLLMとの照合メカニズムを実装し、推論トークンの正しさを検証し、誤ったパスは却下し、必要に応じて再実行する。
• さまざまなサンプリング戦略およびモデル構成における相対的スループットとパフォーマンスを評価するため、累積分布関数（CDF）分析を適用する。
• 実際の状況を想定したエンドツーエンドの遅延とスループットを評価するため、1GPUあたり1バッチのバッチ推論を実装する。

(a) Greedy sampling.

実験結果

リサーチクエスチョン

• RQ1 木構造ベースの推論デコードは、LLMサービングにおけるスループットと遅延の観点で、逐次ベースのアプローチを上回ることができるか？
• RQ2 SSMsの数とその共同微調整が、推論のスループットと精度に与える影響は何か？
• RQ3 木構造ベースの並列デコードは、逐次ベースの検証と比較して、メモリオーバーヘッドにどのような影響を与えるか？
• RQ4 本フレームワークは、さまざまなLLMサイズ（例：LLaMA-7B 対 LLaMA-30B）およびサンプリング戦略において、どのようにスケーリングするか？
• RQ5 推論を顕著に高速化しつつ、生成品質をどの程度維持できるか？

主な発見

• Collieは、4台のA10 GPUを用いてLLaMA-30Bで、逐次ベースの推論と比較して最大2.3倍のスループットと2.1倍の低遅延を達成した。
• 木構造ベースのデコードは、逐次ベースの方法と比較してメモリオーバーヘッドを低減し、8件のリクエストを同時に処理できる。これは、逐次ベースのアプローチがメモリ制限により対応できない。
• グリーディサンプリングでは、Collieのスループットは1秒あたり120トークンに達し、ベースラインを著しく上回った。
• 本フレームワークは高い生成品質を維持しており、推論トークンの生成にもかかわらず、精度の低下は最小限に抑えられた。
• 複数の共同でブースト微調整されたSSMsの使用により、逐次ベースのベースラインと比較して、スループットが2.3倍に、遅延が2.1倍に削減された。
• CDF分析により、Alpacaデータセットにおいてグリーディおよび確率的サンプリング戦略の両方で一貫したパフォーマンス向上が確認された。

(b) Stochastic sampling.