[論文レビュー] A Survey on Model Compression for Large Language Models

Xunyu Zhu, Jian Li+3 more|arXiv (Cornell University)|Aug 15, 2023

Topic Modeling被引用数 37

ひとこと要約

LLMsのモデル圧縮技術の総合的なレビューで、剪定、蒸留、量子化、低秩因子分解を網羅し、分類法、ベンチマーク、将来の方向性を提供します。

ABSTRACT

Large Language Models (LLMs) have transformed natural language processing tasks successfully. Yet, their large size and high computational needs pose challenges for practical use, especially in resource-limited settings. Model compression has emerged as a key research area to address these challenges. This paper presents a survey of model compression techniques for LLMs. We cover methods like quantization, pruning, and knowledge distillation, highlighting recent advancements. We also discuss benchmarking strategies and evaluation metrics crucial for assessing compressed LLMs. This survey offers valuable insights for researchers and practitioners, aiming to enhance efficiency and real-world applicability of LLMs while laying a foundation for future advancements.

研究の動機と目的

• LLMのモデル圧縮における最新の進展を調査・整理し、構造化された分類法へ整理する。
• 主要技術（剪定、知識蒸留、量子化、低ランク因子分解）とそれらのトレードオフをLLMに適用する。
• 圧縮されたLLMの導入におけるベンチマーク戦略、評価指標、環境・倫理的配慮を議論する。
• 研究者と実務家を導くための課題と将来の研究方向性を強調する。

提案手法

• LLMのモデル圧縮手法の分類法を提示し、剪定（非構造化および構造化）、知識蒸留（ホワイトボックスおよびブラックボックス）、量子化（QATおよびPTQ）、および低ランク因子分解を含む。
• 代表的な手法とそれらがLLMに適用される方法を、SparseGPT、LoRAPrune、GUM、LLM-Pruner、MINILLM、GKD、In-Context Learning distillation、CoT-based distillation、LLM-QAT、QLORA、GPTQ、AWQ、TensorGPT などの例とともにレビューする。
• モデルサイズ、パラメータ数、圧縮比、推論上の考慮事項を含む評価・ベンチマークの観点について議論する。
• 持続可能で包摂的なLLM展開を促進する圧縮の背景にある環境およびアクセス可能性への影響について提供する。）
• research_questions,
• research_questions: translates below?

実験結果

リサーチクエスチョン

• RQ1 What are the main model compression techniques applied to large language models and how are they categorized?
• RQ2 How do pruning, distillation, quantization, and low-rank factorization perform and trade off in the context of LLMs?
• RQ3 What benchmarks, metrics, and practical considerations are used to evaluate compressed LLMs?
• RQ4 What are the current challenges and future directions for efficient, sustainable LLM deployment?

主な発見

• The survey introduces an innovative taxonomy organizing pruning (unstructured and structured), knowledge distillation (white-box and black-box/EA-based), quantization (QAT and PTQ), and low-rank factorization as applied to LLMs.
• It highlights representative methods across categories, including SparseGPT, LoRAPrune, GUM, LLM-Pruner, MINILLM, GKD, MT-COT, ICL distillation, LLM-QAT, QLORA, GPTQ, AWQ, OWQ, ZeroQuant, SignRound, OmniQuant, and TensorGPT.
• The paper discusses benchmarking strategies and essential evaluation metrics for assessing compressed LLMs, such as model size, parameter count, and compression ratio.
• It emphasizes environmental and accessibility motivations for compression, noting potential reductions in energy use and improvements in deployment in resource-constrained settings.