[論文レビュー] Model Compression and Efficient Inference for Large Language Models: A Survey

Wenxiao Wang, Wei Chen+7 more|arXiv (Cornell University)|Feb 15, 2024

Topic Modeling被引用数 13

ひとこと要約

このサーベイは大規模言語モデル（LLM）のためのアルゴリズム的モデル圧縮と効率的推論技術をレビューし、分類体系・課題・フレームワークを論じ、ミディアムと“大規模”LLMを区別します。

ABSTRACT

Transformer based large language models have achieved tremendous success. However, the significant memory and computational costs incurred during the inference process make it challenging to deploy large models on resource-constrained devices. In this paper, we investigate compression and efficient inference methods for large language models from an algorithmic perspective. Regarding taxonomy, similar to smaller models, compression and acceleration algorithms for large language models can still be categorized into quantization, pruning, distillation, compact architecture design, dynamic networks. However, Large language models have two prominent characteristics compared to smaller models: (1) Most of compression algorithms require finetuning or even retraining the model after compression. The most notable aspect of large models is the very high cost associated with model finetuning or training. Therefore, many algorithms for large models, such as quantization and pruning, start to explore tuning-free algorithms. (2) Large models emphasize versatility and generalization rather than performance on a single task. Hence, many algorithms, such as knowledge distillation, focus on how to preserving their versatility and generalization after compression. Since these two characteristics were not very pronounced in early large models, we further distinguish large language models into medium models and ``real'' large models. Additionally, we also provide an introduction to some mature frameworks for efficient inference of large models, which can support basic compression or acceleration algorithms, greatly facilitating model deployment for users.

研究の動機と目的

• リソース制約のあるデバイス上でLLMを展開するためにメモリと計算コストを削減する必要性を動機付ける。
• LLMsの圧縮と加速手法の分類法（量子化、剪定、蒸留、コンパクト設計、動的ネットワーク）を提供する。
• 圧縮後の微調整/訓練コストと汎用性の維持というLLMに特有の二つの課題を強調する。
• ミディアムモデル（≈1Bパラメータ）と“真の大規模”モデル (>1B)を区別し、適用可能な技術を明確にする。
• 圧縮手法をサポートする成熟した効率推論フレームワークへの入門的な指針を提供する。

提案手法

• 技術と訓練/微調整要件（PTQ vs QAT）でLLMの圧縮手法を調査・分類する。
• 議論の基盤となるTransformerアーキテクチャの基本概念を説明する（注意機構、MHA、エンコーダ/デコーダの変種）。
• 各カテゴリ（量子化、剪定、蒸留、コンパクト設計、動的ネットワーク）内の代表的手法を要約し、中堅モデルと大規模モデルへの適用性を論じる。
• 高い微調整コストを持つLLMに合わせたチューニング不要またはチューニング効率的アプローチを検討する。
• calibration、量子化粒度、静的/動的量子化の区別といった実務的要点を導入する。

実験結果

リサーチクエスチョン

• RQ1 LLMの記憶と計算コストを過度な再訓練なしに最小化する圧縮・加速手法はどれか？
• RQ2 量子化、剪定、蒸留、動的アーキテクチャをどのように適応させて圧縮後のLLMの汎用性と多様性を維持できるか？
• RQ3 ミディアムモデルと真の大規模LLMの区別は、圧縮戦略の選択にどのような影響を及ぼすか？
• RQ4 圧縮されたLLMの効率的推論とデプロイをサポートするフレームワークや実務的ツールは何か？
• RQ5 圧縮後の性能に影響を与える実務的考慮事項（キャリブレーション、量子化粒度、PTQ vs QAT）は何か？

主な発見

• LLMsは推論時に高いメモリと計算コストを課すため、圧縮と効率的推論戦略が求められる。
• 量子化、剪定、蒸留、コンパクトアーキテクチャ、動的ネットワークを含むLLMに適用可能な圧縮手法の分類法があり、組み合わせの可能性がある。
• 大規模モデルには二つの顕著な課題がある： (1) 圧縮後の微調整/再訓練の高コスト、チューニング不要またはチューニング効率的手法への関心の高まり、(2) 単一タスクの性能よりも汎用性/多様性を重視する傾向。
• 本調査は、ミディアム（約1Bパラメータ）と大規模（>1Bパラメータ）モデルを区別するフレームワークを導入し、従来の手法が依然適用可能か、専門的アプローチが必要かを明確にする。
• 本論文は、実務的展開のための基本的な圧縮/加速技術をサポートする成熟した推論フレームワークの入門も提供する。