[論文レビュー] A Survey on Model Compression and Acceleration for Pretrained Language Models

Canwen Xu, Julian McAuley|arXiv (Cornell University)|Feb 15, 2022

Topic Modeling被引用数 8

ひとこと要約

本調査は、事前学習言語モデル（PLMs）のモデル圧縮および高速化技術について包括的なレビューを提供しており、プルーニング、量子化、知識蒸留、動的推論などの手法に焦点を当て、計算コスト、メモリ使用量、炭素足跡の低減を目的としている。統一された分類法、ベンチマーク、メトリクスを導入するとともに、評価、耐性、自動化における課題を強調し、持続可能で包摂的なNLPの展開を提唱している。

ABSTRACT

Despite achieving state-of-the-art performance on many NLP tasks, the high energy cost and long inference delay prevent Transformer-based pretrained language models (PLMs) from seeing broader adoption including for edge and mobile computing. Efficient NLP research aims to comprehensively consider computation, time and carbon emission for the entire life-cycle of NLP, including data preparation, model training and inference. In this survey, we focus on the inference stage and review the current state of model compression and acceleration for pretrained language models, including benchmarks, metrics and methodology.

研究の動機と目的

• 事前学習言語モデル（PLMs）のモデル圧縮および高速化技術を体系的にレビューし、推論効率を向上させること。
• プルーニング、量子化、知識蒸留、動的推論を含む、既存の手法を統一した分類法を確立すること。
• FLOPs、推論時間、スピードアップ比、モデルサイズ、炭素足跡などの標準化されたメトリクスを用いて、技術を評価および比較すること。
• 評価、耐性、人的依存性に関する主な課題を特定し、より説明可能で耐性があり、自動化された圧縮手法の導入を提唱すること。
• 大規模なPLMsの環境的・ハードウェア的障壁を低減することで、持続可能で包摂的なNLPの展開を促進すること。

提案手法

• 重み共有、低ランク因子分解、プルーニング、量子化、知識蒸留、イ早退出、トークンスキップを含む、主要な圧縮技術を分類および分析する。
• FLOPs、推論時間、スピードアップ比、モデルサイズ、炭素足跡、忠実度、耐性性を含むメトリクスを導入し、評価する。
• タスク、ハードウェア、制約に基づいて適切な技術を選択するための意思決定ツリー（図2）を提案する。
• 注目度スコアに基づいてトークンをスキップする注目ベースまたは学習されたメカニズムを用いる動的推論手法（PoWER-BERT、TR-BERT、LAT、LTP、Transkimmer）をレビューする。
• 知識蒸留＋プルーニングなどの技術の組み合わせが、精度と速度のパラメータのパレート効率を向上させる可能性を強調する。
• メタラーニングやニューラルアーキテクチャサーチを活用した今後の研究を呼びかけ、圧縮のハイパーパrameter選択を自動化し、人的熟練の必要性を低減することを提言する。

実験結果

リサーチクエスチョン

• RQ1 PLMsの精度、速度、モデルサイズの間で最良のトレードオフを実現するモデル圧縮および高速化技術は何か？
• RQ2 標準化されたベンチマークとメトリクスは、異なる研究間での圧縮技術の比較可能性をどのように向上させるか？
• RQ3 圧縮がモデルの耐性および敵対的脆弱性に与える影響は何か？
• RQ4 生産環境への展開を支援するため、圧縮モデルにおける説明可能性と信頼性をどのように向上できるか？
• RQ5 メタラーニングやニューラルアーキテクチャサーチのような自動化手法は、モデル圧縮における人的作業をどの程度低減できるか？

主な発見

• 知識蒸留、プルーニング、量子化などのモデル圧縮技術は、精度の低下を最小限に抑えつつ、モデルサイズと推論時間を削減できる。
• PoWER-BERT や TR-BERT などの動的推論手法は、注目度スコアに基づいてトークンをスキップする学習メカニズムを用いることで、精度と速度のトレードオフをより良好に実現する。
• CodeCarbon や Experiment Impact Tracker といった炭素足跡推定ツールは、モデル学習および展開の環境的影響を評価するために不可欠である。
• 忠実度と忠誠度メトリクスは、蒸留ベースの圧縮における知識移転の質を解釈可能な指標として提供する。
• 複数の技術を組み合わせること（例：蒸留＋プルーニング）により、単一手法に比べて優れたパフォーマンスと効率性が得られることが一般的に見られる。
• 現在の評価慣行には標準化が欠けており、特に異なるハードウェアやタスク間での比較が困難である。