[論文レビュー] Sparse Fine-tuning for Inference Acceleration of Large Language Models

Eldar Kurtic, Denis Kuznedelev+3 more|arXiv (Cornell University)|Oct 10, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文は、大規模言語モデル（LLMs）のスパース微調整のためのフレームワークを提案しており、新規のL2ベースの知識蒸留法「SquareHead」と反復的プルーニングを組み合わせることで、75%の極めて高いスパース度においても高い精度を維持する。この手法により、CPUで最大9.08倍、GPUで最大7.49倍のエンドツーエンドの推論高速化を実現しながら精度を保持でき、CPUおよびGPUワークロードにおけるさらなるパフォーマンス向上のための量子化と併用可能である。

ABSTRACT

We consider the problem of accurate sparse fine-tuning of large language models (LLMs), that is, fine-tuning pretrained LLMs on specialized tasks, while inducing sparsity in their weights. On the accuracy side, we observe that standard loss-based fine-tuning may fail to recover accuracy, especially at high sparsities. To address this, we perform a detailed study of distillation-type losses, determining an L2-based distillation approach we term SquareHead which enables accurate recovery even at higher sparsities, across all model types. On the practical efficiency side, we show that sparse LLMs can be executed with speedups by taking advantage of sparsity, for both CPU and GPU runtimes. While the standard approach is to leverage sparsity for computational reduction, we observe that in the case of memory-bound LLMs sparsity can also be leveraged for reducing memory bandwidth. We exhibit end-to-end results showing speedups due to sparsity, while recovering accuracy, on T5 (language translation), Whisper (speech translation), and open GPT-type (MPT for text generation). For MPT text generation, we show for the first time that sparse fine-tuning can reach 75% sparsity without accuracy drops, provide notable end-to-end speedups for both CPU and GPU inference, and highlight that sparsity is also compatible with quantization approaches. Models and software for reproducing our results are provided in Section 6.

研究の動機と目的

• 微調整データが限られている状況や高いスパース度においても、大規模言語モデルの微調整中にモデル精度を維持する課題に対処すること。
• 微調整データの制限とモデルの複雑さに起因する、スパース微調整における訓練の不安定性と精度回復の困難さを克服すること。
• スパース性が計算リソースの削減にとどまらず、メモリ制限型LLM推論ワークロードにおけるメモリ帯域幅の圧迫を軽減できることを示すこと。
• スパース性と量子化が併用可能であり、CPUおよびGPUハードウェアで合成的な高速化を実現できることを示すこと。
• 多様なLLMアプリケーションへの適用と拡張を可能にするために、再現可能なコードとモデルを提供すること。

提案手法

• 微調整中に反復的プルーニングを適用し、段階的にスパース度を高めながら、下流タスクでモデルを再訓練する。
• 教師モデルが密な状態であるのに対し、学生モデルがスパースであるような、1トークンごとのℓ₂ベースの知識蒸留損失「SquareHead」を導入する。
• 各層における教師と学生の活性化のL2差を最小化する損失関数を用い、スパース微調整中の一般化性能と安定性を向上させる。
• スパースGEMMカーネルを活用してCPU推論の高速化を実現するため、DeepSparse推論ランタイムを活用する。
• GPU向けに最適化されたN:Mスパースフォーマットを実装し、GPU上で効率的なスパース推論を可能にする。また、INT8量子化と組み合わせる。
• スパースモデルに対してトレーニング後の量子化を適用し、スパース性と量子化の併用効果が精度と遅延に与える影響を評価する。

Figure 1 : Speedups for sparse CPU and GPU kernels on an MPT-7B layer.

実験結果

リサーチクエスチョン

• RQ1 微調整データが限られている状況で、スパース微調整が高スパース度においても高い精度を維持できるか。
• RQ2 特にSquareHeadを用いた知識蒸留は、標準的なクロスエントロピー損失やKLベースの蒸留と比較して、スパース微調整における精度保持にどの程度優れているか。
• RQ3 スパース性が、メモリ制限型LLM推論ワークロードにおいて、どの程度メモリ帯域幅の圧迫を軽減できるか。
• RQ4 スパース性と量子化を併用することで、顕著な精度低下を伴わずにより大きな推論高速化を達成できるか。
• RQ5 翻訳、音声認識、推論といった多様なLLMアプリケーションにおいて、スパース微調整のエンドツーエンドの速度向上と精度のトレードオフはどの程度か。

主な発見

• SquareHead蒸留により、75%のスパース度でさえも、モデル性能の正確な回復が可能であり、スパースなMPT-7BモデルはGSM8Kで28.6%のテスト精度を達成した（密なFP32ベースラインの28.2%と比較して1.6%の低下にとどまる）。
• 60%スパースなINT8 MPT-7Bモデルは、1コアのAMD Ryzen 9 7950Xで6.7倍の高速化を達成し、80%スパースなINT8モデルでは9.08倍の高速化を達成したが、精度は7%低下した。
• CPUでは、70%スパースなMPT-7Bモデルが4コアで21.1トークン/秒の速度を記録し、7.49倍の高速化を達成した。これは、スパース性そのものが顕著な性能向上をもたらすことを示している。
• SquareHead KDを用いたスパース微調整済みMPT-7Bモデルは、密なベースラインを上回り、GSM8Kで33.0%の精度を達成した。これは、蒸留が一般化性能を向上させることを示している。
• スパース性は、メモリ制限型生成モデルにおいて、メモリ帯域幅の圧迫を軽減でき、計算がボトルネックでないCPUシステムでも高速化を実現できる。
• 本手法はFP32およびINT8量子化の両方と互換性があり、スパース性と量子化の併用により、CPUおよびGPUの両方で合成的なパフォーマンス向上が達成された。

Figure 2 : BLEU ( $\uparrow$ ) score for variants of loss functions on English-German WMT14 and T5-Small at various compression rates.