[論文レビュー] Extreme Compression for Pre-trained Transformers Made Simple and Efficient

Xiaoxia Wu, Zhewei Yao+3 more|arXiv (Cornell University)|Jun 4, 2022

Advanced Image and Video Retrieval Techniques被引用数 13

ひとこと要約

本稿では、1ビット/2ビットの超低ビット量子化とモデル distillation を用いて、事前学習済み Transformer の極端な圧縮を実現するシンプルだが効果的なパイプラインである XTC を提案する。ハイパーパramータとトレーニング戦略を体系的に分析した結果、従来の最先端手法は過小学習であったことが示され、XTC はマルチステージの知識 distillation や複雑な最適化を一切用いずに、GLUE タスクで SOTA の性能を達成し、モデルサイズを 50 倍に圧縮した。

ABSTRACT

Extreme compression, particularly ultra-low bit precision (binary/ternary) quantization, has been proposed to fit large NLP models on resource-constraint devices. However, to preserve the accuracy for such aggressive compression schemes, cutting-edge methods usually introduce complicated compression pipelines, e.g., multi-stage expensive knowledge distillation with extensive hyperparameter tuning. Also, they oftentimes focus less on smaller transformer models that have already been heavily compressed via knowledge distillation and lack a systematic study to show the effectiveness of their methods. In this paper, we perform a very comprehensive systematic study to measure the impact of many key hyperparameters and training strategies from previous works. As a result, we find out that previous baselines for ultra-low bit precision quantization are significantly under-trained. Based on our study, we propose a simple yet effective compression pipeline for extreme compression, named XTC. XTC demonstrates that (1) we can skip the pre-training knowledge distillation to obtain a 5-layer BERT while achieving better performance than previous state-of-the-art methods, e.g., the 6-layer TinyBERT; (2) extreme quantization plus layer reduction is able to reduce the model size by 50x, resulting in new state-of-the-art results on GLUE tasks.

研究の動機と目的

• 従来の BERT 用極端な量子化手法が、多段階のパイプラインと広範なハイパーパramータチューニングを必要としている理由を解明すること。
• バイナリ化（1ビット）およびトレナリ（2ビット）量子化において、高価な知識 distillation やウェイトスプリットが本当に必要かどうかを特定すること。
• すでに小型で distilled されたモデル（例：TinyBERT や MiniLM）に対する極端な量子化の有効性を評価すること。
• 最小限のトレーニングオーバーヘッドで高い精度を維持する、スムーズで効率的な圧縮パイプラインを開発すること。
• 超低ビット量子化におけるハイパーパramータとトレーニング戦略の体系的ベンチマークを提供すること。

提案手法

• 事前学習 distillation を省略し、小型で distilled されたモデルに対して直接量子化感知トレーニング（QAT）を適用するシンプルな圧縮パイプライン XTC を提案する。
• 勾配バックプロパゲーションにステートスルー推定（STE）を用いた 1 ビットまたは 2 ビットの重み量子化を実装する単一ステージのトレーニングプロセスを採用する。
• 層削減（例：6層の SkipBERT）を導入することで、性能を維持したままモデルサイズをさらに圧縮する。
• データ拡張やマルチステージ distillation を回避し、混合精度トレーニングと学習率スケジューリングを用いた標準的なファインチューニングを実施する。
• 一部のアブレーション設定では、パラメータ効率の良いファインチューニングとして LoRa（低ランク適応）を適用する。
• 最適な設定を同定するために、1,000 以上のモデルバリアントを用いた広範なハイパーパラメータアブレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 1 ビット量子化された BERT モデルで高い精度を達成するために、データ拡張を伴うマルチステージの知識 distillation が真に必要なのか？
• RQ2 よりシンプルな単一ステージトレーニングパイプラインが、複雑なマルチフェーズベースラインと同等またはそれ以上の性能を達成できるか？
• RQ3 極端な量子化は、すでに圧縮済みの distilled モデル（例：TinyBERT や MiniLM）とどのように作用するか？
• RQ4 超低ビット量子化されたモデルの性能に最も顕著に影響を与えるハイパーパラメータとトレーニング戦略は何か？
• RQ5 事前学習 distillation やウェイトスプリットを一切用いずに、極端な圧縮で SOTA の結果を達成できるか？

主な発見

• 1 ビットおよび 2 ビット量子化の従来の最先端手法は、顕著に過小学習されており、最適でない性能に留まっていた。
• XTC は 1 ビット量子化された 6 層の SkipBERT で平均 GLUE スコア 81.43 を達成し、事前学習 distillation を一切用いない 6 層の TinyBERT（80.56）を上回った。
• 極端な量子化と層削減により、モデルサイズが 50 倍（16MB から 0.3MB）に圧縮され、GLUE ベンチマークで SOTA の結果を達成した。
• 1 ビット量子化において、XTC はわずか 8.1MB のモデルサイズで平均 GLUE スコア 81.43 を達成し、複雑なマルチステージパイプラインを用いた先行手法を上回った。
• 異なるランダムシードに対して安定しており、平均 GLUE スコアの標準偏差は 0.09～0.11 のみで、トレーニングの安定性が確認された。
• XTC はウェイトスプリットやマルチステージ distillation の必要性を排除し、トレーニングの複雑さを低減しながら、精度を向上または同等に保った。