[論文レビュー] ZipLM: Inference-Aware Structured Pruning of Language Models

Eldar Kurtic, Elias Frantar+1 more|arXiv (Cornell University)|Feb 7, 2023

Topic Modeling被引用数 7

ひとこと要約

ZipLM は、損失と実行時間のトレードオフに基づいてモデル部品を段階的に削除する、推論に配慮した構造的プルーニングフレームワークであり、BERT や GPT モデルのワンショットおよび段階的圧縮設定の両方で、最先端の精度-スピードアップトレードオフを達成する。任意の環境で目標とする推論スピードアップを保証し、最小限の計算コストで一度の実行で完全な圧縮モデルのファミリーを生成する。

ABSTRACT

The breakthrough performance of large language models (LLMs) comes with major computational footprints and high deployment costs. In this paper, we progress towards resolving this problem by proposing a novel structured compression approach for LLMs, called ZipLM. ZipLM achieves state-of-the-art accuracy-vs-speedup, while matching a set of desired target runtime speedups in any given inference environment. Specifically, given a model, a dataset, an inference environment, as well as a set of speedup targets, ZipLM iteratively identifies and removes components with the worst loss-runtime trade-off. Unlike prior methods that specialize in either the post-training/one-shot or the gradual compression setting, and only for specific families of models such as BERT (encoder) or GPT (decoder), ZipLM produces state-of-the-art compressed models across all these settings. Furthermore, ZipLM achieves superior results for a fraction of the computational cost relative to prior distillation and pruning techniques, making it a cost-effective approach for generating an entire family of smaller, faster, and highly accurate models, guaranteed to meet the desired inference specifications. In particular, ZipLM outperforms all prior BERT-base distillation and pruning techniques, such as CoFi, MiniLM, and TinyBERT. Moreover, it matches the performance of the heavily optimized MobileBERT model, obtained via extensive architecture search, by simply pruning the baseline BERT-large model. When compressing GPT2, ZipLM outperforms DistilGPT2 while being 60% smaller and 30% faster. Our code is available at: https://github.com/IST-DASLab/ZipLM.

研究の動機と目的

• リソース制約のある環境における大規模言語モデル（LLM）の高い計算コストとデプロイ障壁に対処すること。
• 従来の構造的プルーニングおよび蒸留手法の限界を克服すること。これらの手法はしばしば実行時間のスピードアップを保証できないか、繰り返しの再訓練やハイパーパramータチューニングを要する。
• ワンショットと段階的圧縮を統合したフレームワークを提供し、アーキテクチャの変更なしにエンコーダー（BERT）とデコーダー（GPT）アーキテクチャの両方で動作させること。
• 一度の最適化ランで特定の目標スピードアップを満たす完全な圧縮モデルのファミリーを生成する、実用的で効率的かつ推論に配慮した手法を提供すること。

提案手法

• ZipLM は、重みの大きさ、活性化への影響、線形の重複検出を組み合わせた、新しい感度基準を採用しており、層間の局所的およびグローバルな相関関係も考慮している。
• 各コンponentがモデルの精度と実行時間に与える影響を評価する、推論に配慮したプルーニング戦略を導入し、損失-実行時間トレードオフが最も良い削除を優先する。
• 小規模なデータセット上で精度を向上させるために、層ごとのトークンレベルの蒸留技術を採用し、手動での層マッチングを不要にしている。
• 一貫したパフォーマンスとスピード保証を実現するために、一回の実行で複数のスピードアップ目標（例：2倍、5倍、10倍）をカバーする統一されたハイパーパramータセットを用いて、エンドツーエンドの圧縮を可能にしている。
• ZipLM は非構造的プルーニングおよび量子化と互換性があり、CPU ベースの推論環境でさらなる圧縮とパフォーマンス向上を実現できる。

Figure 1 : Illustration of the ZipLM pipeline: 1) inference specifications, 2) runtime benchmarking of candidates for pruning, 3) gradual structured pruning until all speedup targets are met.

実験結果

リサーチクエスチョン

• RQ1 構造的プルーニングは、アーキテクチャの変更なしに、ワンショットおよび段階的圧縮設定の両方で、最先端の精度-スピードアップトレードオフを達成できるか？
• RQ2 推論に配慮したプルーニング戦略は、繰り返しの再訓練が不要な状態で、多様なハードウェア環境で目標とする実行時間のスピードアップを保証できるか？
• RQ3 提案手法は、BERT および GPT モデルの両方において、蒸留ベースおよび従来のプルーニング技術と比較して、どの程度効率的で正確か？
• RQ4 極端な圧縮比（例：50倍）において、構造的プルーニングのスケーラビリティはどの程度か？（モデルの崩壊を伴わないか）

主な発見

• ZipLM は、CoFi や MiniLM や TinyBERT を含む、BERT-base におけるすべての従来の蒸留およびプルーニング手法を上回り、アーキテクチャ探索を伴わずに BERT-large をプルーニングすることで MobileBERT の性能に匹敵する。
• GPT2 では、DistilGPT2 よりも 60% 小さく、30% 速いモデルを生成しながら、優れた性能を達成している。
• BERT-base では、4,096 個のキャリブレーションサンプルのみを用いて、1.5 倍スピードアップで F1 スコア 87.6、2.0 倍スピードアップで F1 スコア 84.7 を達成しており、2,048 個のサンプルを用いた Kwon らの手法を上回っている。
• BERT-base を 14 のスピードアップターゲット（2x–15x）に圧縮するには、合計で 115 回の訓練エポックしか必要とせず、CoFi が 560 エポックを要するのに対し、4.87 倍の効率性を発揮している。
• CPU で 13 倍のスピードアップを達成し、完全な精度回復を実現し、最大圧縮では 50 倍のスピードアップを達成しており、従来の複合パイプラインを 3–10 倍上回っている。
• スケーリング法則によると、圧縮済みモデルは線形の精度-スピードアップ関係に従う：BERT-large では F1 ≈ 92.1 − 0.3×スピードアップ、BERT-base では F1 ≈ 90.3 − 0.6×スピードアップであり、より大きなモデルでは高い耐性を示していることが示唆されている。