[論文レビュー] E-Sparse: Boosting the Large Language Model Inference through Entropy-based N:M Sparsity

Yunwei Li, Lin Niu+4 more|arXiv (Cornell University)|Oct 24, 2023

Topic Modeling被引用数 4

ひとこと要約

E-Sparseは、大規模言語モデル（LLMs）向けに、1回のスプライシングで実行されるエントロピーに基づくN:Mスパース化手法を提案する。この手法は、隠れ状態特徴量の情報エントロピーを用いてチャネルレベルのプルーニングをガイドし、グローバルおよびローカルのチャネルシャッフルを組み合わせてモデルの精度を維持する。FasterTransformerにおけるカスタムSparse-GEMM実装を活用し、NVIDIA Ampere GPU上で実行することで、LLaMAおよびOPTモデルで最大1.53倍の高速化と43.52％のメモリ削減を達成し、精度の損失は最小限に抑えられる。

ABSTRACT

Traditional pruning methods are known to be challenging to work in Large Language Models (LLMs) for Generative AI because of their unaffordable training process and large computational demands. For the first time, we introduce the information entropy of hidden state features into a pruning metric design, namely E-Sparse, to improve the accuracy of N:M sparsity on LLM. E-Sparse employs the information richness to leverage the channel importance, and further incorporates several novel techniques to put it into effect: (1) it introduces information entropy to enhance the significance of parameter weights and input feature norms as a novel pruning metric, and performs N:M sparsity without modifying the remaining weights. (2) it designs global naive shuffle and local block shuffle to quickly optimize the information distribution and adequately cope with the impact of N:M sparsity on LLMs' accuracy. E-Sparse is implemented as a Sparse-GEMM on FasterTransformer and runs on NVIDIA Ampere GPUs. Extensive experiments on the LLaMA family and OPT models show that E-Sparse can significantly speed up the model inference over the dense model (up to 1.53X) and obtain significant memory saving (up to 43.52%), with acceptable accuracy loss.

研究の動機と目的

• 実世界の生成AIアプリケーションにおける大規模言語モデル（LLMs）の高い計算コストとメモリ使用量を低減すること。
• 従来のプルーニング手法の限界を克服すること。特に、高価な再訓練を必要とし、ハードウェア最適化されたスパースパターンを十分に活用できない点。
• 微調整を必要とせず、現代のGPU上で迅速に展開可能な、ポストトレーニング・ワンショットプルーニング手法として、効率的なN:Mスパース化を設計すること。
• 隠れ状態特徴量の情報エントロピーを新たな指標として導入し、チャネルの重要度を評価することで、LLMsにおけるN:Mスパース化の精度を向上させること。
• プルーニング中にチャネルに情報が集中する問題を軽減するため、チャネルシャッフル戦略を導入し、精度の低下を是正すること。

提案手法

• 隠れ状態特徴量の情報エントロピーに加え、入力特徴量のノルムとパラメータの大きさを組み合わせた、新たなプルーニング指標を提案する。
• 情報エントロピーを用いて、各チャネル内の隠れ状態における情報の豊かさを定量化し、重要度の高いパラメータをより正確に特定可能にする。
• グローバルなナイーブシャッフルとローカルなブロックシャッフルを適用し、情報の集中を低減させ、N:Mプルーニング後の性能維持を図る。
• FasterTransformerにおけるN:Mスパース性に最適化されたカスタムSparse-GEMMカーネルを実装し、NVIDIA Ampere GPUのSparse Tensor Core加速をネイティブにサポートする。
• 再訓練や重み更新を一切行わず、エントロピーに基づく指標とシャッフル技術に依存して精度を維持するワンショットプルーニングを実行する。
• 最小限のオーバーヘッドで推論パイプラインに統合し、標準的なLLM推論ワークロードにおける効率的な展開を可能にする。

実験結果

リサーチクエスチョン

• RQ1 隠れ状態特徴量の情報エントロピーは、大きさやノルムのみに依存する指標よりも、LLMsにおけるN:Mスパース化のガイドとしてより効果的であるか？
• RQ2 チャネル間における情報の集中度は、LLMsにおけるN:M構造的プルーニングの精度にどのように影響を与えるか？
• RQ3 グローバルおよびローカルのチャネルシャッフル技術は、構造的プルーニングに起因する精度低下を効果的に緩和できるか？
• RQ4 エントロピーに基づくN:Mスパース化は、再訓練なしにどの程度推論の高速化とメモリ使用量の削減を実現できるか？
• RQ5 Wanda や SparseGPT などの既存のポストトレーニングプルーニング手法と比較して、本手法は速度、メモリ使用量、精度の面でどの程度優れているか？

主な発見

• E-Sparseは、LLaMAおよびOPTモデルにおいて、FP16の密集モデルベースラインと比較して最大1.53倍の高速化を達成し、コンテキスト段階およびデコーダー段階の両方で一貫した高速化を実現した。
• LLaMAモデルでは最大43.52％のメモリ使用量削減を達成した。モデルが大きいほど、相対的により大きなメモリ節約が得られた。
• LLaMAモデルでは、最先端の手法と比較して perplexity が1.32ポイント改善され、極めて強力な精度保持性能を示した。
• エントロピーに基づくプルーニングとチャネルシャッフルの組み合わせにより、N:Mスパース化中に情報豊富なチャネルを維持することで、精度損失を低減した。
• FasterTransformerに実装されたカスタムSparse-GEMMカーネルにより、NVIDIA Ampere GPU上で効率的な推論が可能となり、A100ハードウェアで最大34.8％のレイテンシ削減を達成した。
• 本手法は、さまざまなモデルサイズおよびシーケンス長にわたり高い性能を維持し、実世界の展開環境においても強靭性と一般化性能を示した。