[論文レビュー] Well-Read Students Learn Better: On the Importance of Pre-training Compact Models

Iulia Turc, Ming‐Wei Chang+2 more|arXiv (Cornell University)|Aug 23, 2019

Topic Modeling参考文献 36被引用数 428

ひとこと要約

この論文は、コンパクトな Transformer モデルを事前学習し、次に大きな教師モデルからの蒸留を行い、オプションでファインチューニングすることで、さまざまなモデルサイズとデータ条件において、より複雑な圧縮手法と比較して競争力がある、または優れた性能を達成することを示している。

ABSTRACT

Recent developments in natural language representations have been accompanied by large and expensive models that leverage vast amounts of general-domain text through self-supervised pre-training. Due to the cost of applying such models to down-stream tasks, several model compression techniques on pre-trained language representations have been proposed (Sun et al., 2019; Sanh, 2019). However, surprisingly, the simple baseline of just pre-training and fine-tuning compact models has been overlooked. In this paper, we first show that pre-training remains important in the context of smaller architectures, and fine-tuning pre-trained compact models can be competitive to more elaborate methods proposed in concurrent work. Starting with pre-trained compact models, we then explore transferring task knowledge from large fine-tuned models through standard knowledge distillation. The resulting simple, yet effective and general algorithm, Pre-trained Distillation, brings further improvements. Through extensive experiments, we more generally explore the interaction between pre-training and distillation under two variables that have been under-studied: model size and properties of unlabeled task data. One surprising observation is that they have a compound effect even when sequentially applied on the same data. To accelerate future research, we will make our 24 pre-trained miniature BERT models publicly available.

研究の動機と目的

• メモリとレイテンシの制約の下で、コンパクトなモデルの事前学習がエンドタスクの性能に有益であることを示す。
• 事前学習と蒸留の組み合わせ（オプショナルなファインチューニングを含む）が、従来の圧縮手法と競合する、あるいはそれを上回ることを示す。
• モデルサイズと非ラベルデータの量が、事前学習と蒸留の効果にどのように影響するかを分析する。
• 同じデータに対して順次適用した場合の、LM事前学習とタスク特化型蒸留の相互作用を調査する。
• 将来の研究を加速するために、事前学習済みの小型 BERT モデルのスイートを提供する。

提案手法

• 3段階の訓練プロセスを適用する：大規模な未ラベルLMコーパスでのMLM pre-training、未ラベル転移データに対してソフトラベルを用いた高容量教師からの蒸留、そしてラベル付きデータでのオプショナルなファインチューニング。
• Pre-trained Distillation (PD) を、ベースライン（基本訓練、標準的な蒸留、および pre-training plus fine-tuning (PF)）と比較する。
• 24 個のコンパクトなモデルサイズ（4M から 110M パラメータ）を変化させ、異なる未ラベルデータ量とドメイン類似性の下で性能を評価する。
• GLUE風タスクやいくつかのデータセット（MNLI、RTE、SST-2、Book Reviews）で評価し、転移データ量とドメインシフトへの頑健性を調べる。
• 事前学習と蒸留の複合効果を分析し、同時期のモデル圧縮研究と比較する。

実験結果

リサーチクエスチョン

• RQ1 コンパクトなモデルの Transformer レイヤーを事前学習させることは、標準的な蒸留や PF ベースラインと比較してエンドタスクの性能を改善しますか？
• RQ2 モデルサイズと未ラベルデータの量/ドメインは、事前学習と蒸留の利得にどう影響しますか？
• RQ3 同じデータに対して LM 事前学習と蒸留を順次適用すると、複合的な利点がありますか？
• RQ4 転移セットのサイズとラベル付きデータと未ラベルデータ間のドメインシフトに対して、Pre-trained Distillation の頑健性はどの程度ですか？

主な発見

• Pre-training plus distillation (PD) は、複数のタスクとモデルサイズにわたって一貫してベースラインを上回る。
• Depth は width よりもコンパクトモデルにおいて価値が高く、事前学習は depth の活用を向上させる。
• PD は、教師モデルの性能と同等またはそれを上回り、素の蒸留よりもはるかに小さなモデルと少ない転移データで達成できる。
• PF は転移セットがラベル付きセットほど大きくない場合に競争力を持つが、PD は全体的に優れており、特に転移データの変動に対して頑健である。
• PD は、ラベル付きデータと転移データ間のドメインシフトに対して標準蒸留より頑健であり、事前学習と蒸留を連鎖させると追加的な利益が生まれる。