[論文レビュー] LadaBERT: Lightweight Adaptation of BERT through Hybrid Model Compression

Yihuan Mao, Yujing Wang+7 more|arXiv (Cornell University)|Apr 8, 2020

Topic Modeling参考文献 32被引用数 19

ひとこと要約

LadaBERTは、重み pruning、行列因子分解、知識 distillation を組み合わせたハイブリッドなモデル圧縮フレームワークを提案する。これにより、大幅に低コストなトレーニングを実現する軽量 BERT バリエーションが得られる。複数の NLU ベンチマークで最先端の精度を達成するとともに、従来の distillation に依存する手法と比較して、トレーニングを最大 10 倍速く実行できる。

ABSTRACT

BERT is a cutting-edge language representation model pre-trained by a large corpus, which achieves superior performances on various natural language understanding tasks. However, a major blocking issue of applying BERT to online services is that it is memory-intensive and leads to unsatisfactory latency of user requests, raising the necessity of model compression. Existing solutions leverage the knowledge distillation framework to learn a smaller model that imitates the behaviors of BERT. However, the training procedure of knowledge distillation is expensive itself as it requires sufficient training data to imitate the teacher model. In this paper, we address this issue by proposing a hybrid solution named LadaBERT (Lightweight adaptation of BERT through hybrid model compression), which combines the advantages of different model compression methods, including weight pruning, matrix factorization and knowledge distillation. LadaBERT achieves state-of-the-art accuracy on various public datasets while the training overheads can be reduced by an order of magnitude.

研究の動機と目的

• 既存の BERT 圧縮手法が経験的に再トレーニングを必要としている高コストな計算とデータの課題に対処すること。
• 性能を損なわず、より小さな BERT モデルを distilling するためのトレーニングオーバーヘッドを低減すること。
• メモリ制限やレイテンシ制限の下で、タスクに適応した軽量で効率的な BERT モデルを生成するためのパイプラインを開発すること。
• 複数の圧縮技術を統合した反復的フレームワークにおける相乗効果を調査すること。

提案手法

• LadaBERT は、事前学習済み BERT 教師モデルから始まる反復的ハイブリッド圧縮パイプラインを用いる。
• 各反復において、学生モデルは重み pruning と行列因子分解を経てパラメータ数を削減する。
• 圧縮された学生モデルは、教師モデルのソフトラベルを用いて知識 distillation を通じて微調整される。
• 行列因子分解は SVD を用いて、重み行列を低ランク成分に分解することで実施される。
• スパarsity（pruning）と低ランク構造（factorization）を組み合わせることで、distillation の効率性が向上する。
• フレームワークは反復的に適用され、ターゲットの圧縮比を達成しつつ、精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 重み pruning と行列因子分解を組み合わせることで、BERT 圧縮における知識 distillation の効率性と精度が向上するか？
• RQ2 純粋な distillation 手法と比較して、ハイブリッド圧縮はどの程度トレーニング時間とデータ要件を削減できるか？
• RQ3 複数の圧縮技術を反復的に適用することで、単一手法のアプローチよりも優れたパフォーマンスが得られるか？
• RQ4 TinyBERT や DistilBERT といった最先端モデルと比較して、ハイブリッドアプローチは精度とトレーニング速度の面でどの程度優れているか？

主な発見

• LadaBERT は、5 つの公開 NLU データセットで最先端の精度を達成し、さまざまな圧縮比において既存の圧縮ベースラインを上回った。
• 2.5× 圧縮比の下で、LadaBERT は BERT-PKD よりも顕著に高い精度を達成するとともに、トレーニング時間を 10 倍短縮した。
• 7.5× 圧縮比の下で、LadaBERT は MNLI-m および QQP データセットで TinyBERT を性能面で上回り、10 倍速い収束速度を示した。
• LadaBERT-3 は、スクラッチから事前学習された BERT-Small と同等の性能を達成したが、はるかに低いトレーニングコストで実現した。
• SVD と重み pruning のハイブリッド手法は、単独での pruning や因子分解よりも滑らかなバイアス分布と、より優れた微調整安定性をもたらした。
• 学習曲線の結果、LadaBERT は MNLI-m で約 20,000 ステップで収束したが、TinyBERT は約 200,000 ステップを要した。これは 10 倍の高速化を示している。