[論文レビュー] Response Length Perception and Sequence Scheduling: An LLM-Empowered LLM Inference Pipeline

Zangwei Zheng, Xiaozhe Ren+4 more|arXiv (Cornell University)|May 22, 2023

Topic Modeling被引用数 9

ひとこと要約

この論文は、応答長を予測するLLM搭載の推論パイプラインを導入し、似た長さのクエリをマイクロバッチにスケジュールすることで、Vicuna-7Bで最大86%のスループット向上を達成しつつ品質を損なわない。

ABSTRACT

Large language models (LLMs) have revolutionized the field of AI, demonstrating unprecedented capacity across various tasks. However, the inference process for LLMs comes with significant computational costs. In this paper, we propose an efficient LLM inference pipeline that harnesses the power of LLMs. Our approach begins by tapping into the potential of LLMs to accurately perceive and predict the response length with minimal overhead. By leveraging this information, we introduce an efficient sequence scheduling technique that groups queries with similar response lengths into micro-batches. We evaluate our approach on real-world instruction datasets using the LLaMA-based model, and our results demonstrate an impressive 86% improvement in inference throughput without compromising effectiveness. Notably, our method is orthogonal to other inference acceleration techniques, making it a valuable addition to many existing toolkits (e.g., FlashAttention, Quantization) for LLM inference.

研究の動機と目的

• LLMsが forthcoming な応答長を知覚できるかを調査する（応答長知覚）。
• 知覚を利用して、類似予測長でクエリをバッチ化するシーケンススケジューリングシステムを設計する。
• 自己回帰型LLM推論における冗長計算を削減し、性能を損なうことなくスループットを向上させる。
• 堅牢性と効率を高める仕組み（故障収集、再計算、可変バッチサイズ）を提案する。

提案手法

• PiA（Perception in Advance）アプローチを用いて、指示調整済みLLMが応答長を予測できることを示す。
• 予測と生成を分離するため、LoRAベースのトレーニングを用いた指示調整ベースの長さ予測子をパイプラインに組み込む。
• 予測長でクエリをグループ化し、誤予測を扱うための故障収集と再計算（FCR）を採用するシーケンススケジューリングシステムを開発する。
• 予測長に適合わせるために可変バッチサイズ（VBS）を導入し、メモリ制約を管理する。
• 最大長さを予測する binning 戦略を導入して故障再収集を減らす（四世代の最大長さ）。
• Vicuna-7Bを80GB A100で実運用データセットを用いて評価し、従来のバッチ推論とスループットを比較する。

実験結果

リサーチクエスチョン

• RQ1 LLMsは自己回帰デコード前に応答長を信頼性高く予測できるか（PiA対 PO）？
• RQ2 応答長知覚を用いたシーケンススケジューリングは、品質を損なうことなく推論スループットを向上させるか？
• RQ3 堅牢でスケーラブルなLLM推論に有効な故障収集（FCR）、可変バッチサイズ（VBS）、ビンニングの対策は何か？
• RQ4 提案手法は既存の加速技術（例：Flash Attention、量子化）とどのように相互作用するか？

主な発見

• PiAベースの長さ予測子は大幅なスループット向上を実現し、指示調整済み予測子（平均長・最大長バリアントを評価）を用いた場合、従来の推論より86%の改善を達成した。
• 指示調整済みの長さ予測は、非指示調整済みまたは単純なプーリング/MLPアプローチと比較して応答長予測において著しく優れている。
• ビニング、故障収集と再計算（FCR）、可変バッチサイズ（VBS）の組み合わせは、データセットと設定を問わず最大のスループット向上をもたらす。
• このアプローチは他の推論加速手法と直交しており、既存ツールキット（例：FlashAttention、量子化）を補完できる可能性がある。
• Vicuna-7B での実験は、実運用の指示データセット全体で、生成品質を維持または許容範囲内に保ちつつスループットを向上させた。