[論文レビュー] LLM Inference Unveiled: Survey and Roofline Model Insights

Zhihang Yuan, Yuzhang Shang+12 more|arXiv (Cornell University)|Feb 26, 2024

Mathematics, Computing, and Information Processing被引用数 13

ひとこと要約

実務に基づく調査: ハードウェア全体で効率的なLLM推論を分析・最適化する roofline-model フレームワークを導入する実践指向の調査。モデル圧縮、デコード、システム、ハードウェア最適化を網羅し、オープンソースの LL M-Viewer ツールを提供。

ABSTRACT

The field of efficient Large Language Model (LLM) inference is rapidly evolving, presenting a unique blend of opportunities and challenges. Although the field has expanded and is vibrant, there hasn't been a concise framework that analyzes the various methods of LLM Inference to provide a clear understanding of this domain. Our survey stands out from traditional literature reviews by not only summarizing the current state of research but also by introducing a framework based on roofline model for systematic analysis of LLM inference techniques. This framework identifies the bottlenecks when deploying LLMs on hardware devices and provides a clear understanding of practical problems, such as why LLMs are memory-bound, how much memory and computation they need, and how to choose the right hardware. We systematically collate the latest advancements in efficient LLM inference, covering crucial areas such as model compression (e.g., Knowledge Distillation and Quantization), algorithm improvements (e.g., Early Exit and Mixture-of-Expert), and both hardware and system-level enhancements. Our survey stands out by analyzing these methods with roofline model, helping us understand their impact on memory access and computation. This distinctive approach not only showcases the current research landscape but also delivers valuable insights for practical implementation, positioning our work as an indispensable resource for researchers new to the field as well as for those seeking to deepen their understanding of efficient LLM deployment. The analyze tool, LLM-Viewer, is open-sourced.

研究の動機と目的

• 実機上のLLM推論ボトルネックに対する実用的でフレームワークベースの分析を提供する。
• 組織的に効率化戦略を分類する（パラメータ削減、高速デコード、システムレベル、ハードウェアレベル）。
• LLMデプロイメントにおけるメモリと計算のボトルネックを診断するために roofline モデルを導入・活用する。
• ネットワーク全体の性能分析と最適化を可能にするオープンソースツール（LLM-Viewer）。

提案手法

• LLM推論に合わせた roofline モデルを開発し、メモリ依存層と計算依存層を区別する。
• Roofline フレームワークを用いて層ごとの演算、メモリアクセス、算術強度を定量化し、ハードウェアの天井にマッピングする。
• 効率化戦略をパラメータ削減、高速デコードアルゴリズム設計、コンパイラ/システムレベル最適化、ハードウェアレベル最適化に分類する。
• Nvidia A6000上のLLaMA-2-7bで、prefill対decode段のメモリ計算ボトルネックを示す。
• LLM-Viewerを導入し、層別およびネットワーク全体のボトルネック分析を自動化し、実用的な最適化レポートを作成する。

実験結果

リサーチクエスチョン

• RQ1 rooflineモデルフレームワークは特定のハードウェア上のLLM推論のボトルネックをどのように明らかにできるか。
• RQ2 代表的なLLMにおけるprefillおよびdecode段階での主要なボトルネックは何か（メモリ対計算）。
• RQ3 量子化およびその他の圧縮/最適化技術は層をメモリ依存と計算依存の領域間でどのように移動させるか。
• RQ4 LLM-Viewer のようなツールは、多様なハードウェア上でのLLMsの実用的なデプロイ決定と最適化をどのように支援できるか。

主な発見

レイヤー名	OPs	メモリアクセス	算術強度	最大性能	境界
Prefill q_proj	69G	67M	1024	155T	compute
k_proj	69G	67M	1024	155T	compute
v_proj	69G	67M	1024	155T	compute
o_proj	69G	67M	1024	155T	compute
gate_proj	185G	152M	1215	155T	compute
up_proj	185G	152M	1215	155T	compute
down_proj	185G	152M	1215	155T	compute
qk_matmul	34G	302M	114	87T	memory
sv_matmul	34G	302M	114	87T	memory
softmax	671M	537M	1.25	960G	memory
norm	59M	34M	1.75	1T	memory
add	8M	34M	0.25	192G	memory
Decode q_proj	34M	34M	1	768G	memory
Decode k_proj	34M	34M	1	768G	memory
Decode v_proj	34M	34M	1	768G	memory
Decode o_proj	34M	34M	1	768G	memory
Decode gate_proj	90M	90M	1	768G	memory
Decode up_proj	90M	90M	1	768G	memory
Decode down_proj	90M	90M	1	768G	memory
Decode qk_matmul	17M	17M	0.99	762G	memory
Decode sv_matmul	17M	17M	0.99	762G	memory
Decode softmax	328K	262K	1.25	960G	memory
Decode norm	29K	16K	1.75	1T	memory
Decode add	4K	16K	0.25	192G	memory

• デコード段ではLLM推論はメモリ境界に束縛され、GPU計算ユニットの利用を制限する。
• prefill段階は計算依存となる傾向があり、理論的性能が高い一方、decode段階はメモリ依存となりスループットを低下させる。
• 量子化とデータ型の選択は層をメモリ依存と計算依存の領域間で移動させ、全体の推論時間に影響を与える。
• Rooflineモデルは層ごとのボトルネックを診断し、カーネル融合、量子化戦略、バッチサイズ調整などの標的最適化を導く。
• LLM-Viewerはネットワーク全体の性能分析を可能にし、設定、最適化、およびボトルネックとメモリフットプリントの可視化を支援する。