[論文レビュー] MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models

Zhewei Yao, Linjian Ma+3 more|arXiv (Cornell University)|May 30, 2021

Topic Modeling参考文献 39被引用数 7

ひとこと要約

MLPruningは、学習可能なTop-kしきい値を用いた適応的正則化を組み合わせることで、ヘッド、行、ブロック単位のスパースなプリンティングを統合する、Transformerベースのモデル向けのマルチレベル構造的プリンティングフレームワークを提案する。GLUEベンチマークにおいて、元のモデルの約20％の重みを維持しながら最大3.69倍の推論速度向上を達成し、精度の低下は最小限に抑えられる。

ABSTRACT

Pruning is an effective method to reduce the memory footprint and computational cost associated with large natural language processing models. However, current approaches either only explore head pruning, which has a limited pruning ratio, or only focus on unstructured pruning, which has negligible effects on the real inference time and/or power consumption. To address these challenges, we develop a novel MultiLevel structured Pruning (MLPruning) framework, which uses three different levels of structured pruning: head pruning, row pruning, and block-wise sparse pruning. We propose using a learnable Top-k threshold, which employs an adaptive regularization to adjust the regularization magnitude adaptively, to select appropriate pruning ratios for different weight matrices. We also propose a two-step pipeline to combine block-wise pruning with head/row pruning to achieve high structured pruning ratios with minimum accuracy degradation. Our empirical results show that for \bertbase, with extapprox20\% of remaining weights, \OURS can achieve an accuracy that is comparable to the full model on QQP/MNLI/\squad, with up to extapprox3.69x speedup. Our framework has been open sourced~\cite{codebase}.

研究の動機と目的

• 既存のプリンティング手法が、低プリンティング比でのヘッドのみのプリンティングに限定されているか、あるいは実世界での効率的利得が小さい非構造的プリンティングに限定されているという限界を解消すること。
• 高い圧縮比を実現しながらモデルの精度を維持できる構造的プリンティングフレームワークの開発。
• Transformerモデル向けに、ヘッド、行、ブロック単位の複数のプリンティングレベルを統合した、一元的で効率的なパイプラインの構築。
• 各重み行列の重要度に基づいて正則化の強度を動的に調整できる、学習可能なTop-kしきい値を用いた適応的正則化機構の設計。

提案手法

• 本フレームワークは、3段階の構造的プリンティングを採用：ヘッドプリンティングでアテンションヘッドを削除、行プリンティングでフィードフォワード層の全行を削除、ブロック単位のスパースプリンティングで重み行列全体に構造的なスパース性を強制。
• 訓練中に正則化の強度を動的に制御できる、学習可能なTop-kしきい値を導入。これにより、各重み行列ごとに最適なプリンティング比を自動的に選択可能。
• 2段階のプリンティングパイプラインを設計：最初にヘッドおよび行プリンティングを適用し、次にそれらをブロック単位のプリンティングと統合することで、スパース性を最大化しつつ精度の低下を最小限に抑える。
• 各重み行列の重要度に応じて正則化のスケーリングを行う適応的正則化を採用。これにより、安定した訓練と効果的なプリンティングが可能になる。

実験結果

リサーチクエスチョン

• RQ1 ヘッドのみのプリンティングや非構造的プリンティングと比較して、マルチレベル構造的プリンティングフレームワークは、モデル精度を維持したままより高いプリンティング比を達成できるか？
• RQ2 学習可能なTop-kしきい値は、異なる重み行列に適応的に正則化を調整することで、最適なプリンティング性能を実現できるか？
• RQ3 2段階のパイプラインでヘッド、行、ブロック単位のプリンティングを統合した場合、推論速度と精度にどのような影響を与えるか？
• RQ4 NLPベンチマークにおいて、構造的プリンティングは、精度の著しい低下を伴わずにモデルサイズと推論時間をどの程度削減できるか？

主な発見

• MLPruningは、BERT-baseにおいて、元のモデルのパラメータの20％しか残さない状態で、最大3.69倍の推論速度向上を達成した。
• QQP、MNLI、SQuADベンチマークにおいて、顕著なパラメータ削減にもかかわらず、完全なモデルと同等の精度を維持した。
• 学習可能なTop-kしきい値の活用により、適応的正則化が可能となり、プリンティングの効率性と訓練中のモデル安定性が向上した。
• 2段階のパイプラインは、ヘッド／行プリンティングとブロック単位のスパース性を効果的に統合し、高い構造的プリンティング比を実現しながら、精度の低下を最小限に抑えた。