[論文レビュー] MobileBERT: a Compact Task-Agnostic BERT for Resource-Limited Devices

Zhiqing Sun, Hongkun Yu+4 more|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 50被引用数 90

ひとこと要約

MobileBERTは、携帯端末用に設計されたタスク非依存のコンパクトなBERTのバリアントであり、BERT-BASEより4.3x小さく、5.5x速くなる一方で、GLUEとSQuADのベンチマークでも競争力を維持します。

ABSTRACT

Natural Language Processing (NLP) has recently achieved great success by using huge pre-trained models with hundreds of millions of parameters. However, these models suffer from heavy model sizes and high latency such that they cannot be deployed to resource-limited mobile devices. In this paper, we propose MobileBERT for compressing and accelerating the popular BERT model. Like the original BERT, MobileBERT is task-agnostic, that is, it can be generically applied to various downstream NLP tasks via simple fine-tuning. Basically, MobileBERT is a thin version of BERT_LARGE, while equipped with bottleneck structures and a carefully designed balance between self-attentions and feed-forward networks. To train MobileBERT, we first train a specially designed teacher model, an inverted-bottleneck incorporated BERT_LARGE model. Then, we conduct knowledge transfer from this teacher to MobileBERT. Empirical studies show that MobileBERT is 4.3x smaller and 5.5x faster than BERT_BASE while achieving competitive results on well-known benchmarks. On the natural language inference tasks of GLUE, MobileBERT achieves a GLUEscore o 77.7 (0.6 lower than BERT_BASE), and 62 ms latency on a Pixel 4 phone. On the SQuAD v1.1/v2.0 question answering task, MobileBERT achieves a dev F1 score of 90.0/79.2 (1.5/2.1 higher than BERT_BASE).

研究の動機と目的

• Resource-limitedデバイス上でBERT様式モデルの導入を動機づけ、可能にする。
• 性能をボトルネック構造で保つ深く狭いTransformer系を設計する。
• inverted-bottleneck教師から薄いMobileBERTを層ごとに訓練するための教師-生徒知識転送を開発する。
• モバイル推論待機時間を低減する運用面を最適化する。
• 標準NLPベンチマークを横断してタスク非依存のファインチューニング能力を実証する。

提案手法

• 深さを保ちながら幅を狭めるボトルネックおよび inverted-bottleneckブロックを導入する。
• 各層に4つのスタックされたFFNを用いてMHAとFFNのパラメータ分布を再バランスする。
• 512映像マップを持つ深い教師IB-BERT-LARGEを訓練し、層ごとにMobileBERTへ蒸留する。
• 層ごとの知識転送目的として特徴マップ転送とアテンション転送を適用する。
• 事前学習蒸留を組み込み、MLM、NSP、KD損失を組み合わせる。
• Auxiliary、Joint、Progressive Knowledge Transferの訓練戦略を検討し、低層の微調整をオプションとして段階的に層を訓練する。
• 埋め込み次元を128に factorize し、1D畳み込みを適用して512次元出力を回復する。
• 運用上の最適化: LayerNormをNoNormに、geluをReLUに置換して待機時間を低減する。

実験結果

リサーチクエスチョン

• RQ1 inverted bottlenecksを持つ教師からの層ごとの知識転送を通じて、深く狭いBERTライクなモデルが標準NLPベンチマークで競合性能を維持できるか。
• RQ2 タスク非依存の圧縮BERTにおいて、精度・モデルサイズ・モバイル待機時間を最適にバランスさせる訓練戦略とアーキテクチャの選択肢は何か。
• RQ3 埋め込み因数分解と運用最適化がモバイルデバイス上の精度と実世界の待機時間にどのように影響するか。
• RQ4 MobileBERTがGLUEとSQuADでBERT-BASEの性能にどの程度近づきつつ、速度向上を大幅に提供できるか。

主な発見

• MobileBERTはBERT-BASEに対して4.3xのモデルサイズ削減と5.5xの推論速度向上を達成。
• GLUE上でMobileBERTは77.7のGLUEスコアを達成し、BERT-BASEより0.6ポイント低いだけ、Pixel 4でのレイテンシは62 ms。
• SQuAD v1.1/v2.0ではMobileBERTは開発データF1で90.0/79.2を達成し、v1.1/v2.0でそれぞれBERT-BASEを1.5/2.1ポイント上回る。
• MobileBERT-TINYおよび量子化バリアントは、精度の損失を最小限に抑えつつサイズをさらに削減し、ポスト訓練量子化により追加の圧縮が得られ、劣化は小さい。
• 運用上の最適化（NoNormとReLU）は、FLOPsを減らさずに実世界のレイテンシを大幅に削減し、FLOPsと実際の待機時間のギャップを示す。
• Progressive knowledge transferは一貫してAuxiliaryやJoint戦略を上回り、GLUEとSQuADの結果を向上させる。