[論文レビュー] LightMBERT: A Simple Yet Effective Method for Multilingual BERT Distillation

Xiaoqi Jiao, Yichun Yin+6 more|arXiv (Cornell University)|Mar 11, 2021

Topic Modeling参考文献 22被引用数 5

ひとこと要約

LightMBERTは、多言語Bert（mBERT）の多言語一般化能力をより小さな学生モデルに効果的に転移するシンプルだが効果的な知識蒸留法を提案する。学生モデルをmBERTの下位層で初期化し、共有サブワード埋め込みを凍結し、多言語の教師なしデータ上で上位層の蒸留を実行することで、LightMBERTはmBERTと同等の性能を達成しながら、リソース制限のあるデバイスへのデプロイにははるかに効率的である。

ABSTRACT

The multilingual pre-trained language models (e.g, mBERT, XLM and XLM-R) have shown impressive performance on cross-lingual natural language understanding tasks. However, these models are computationally intensive and difficult to be deployed on resource-restricted devices. In this paper, we propose a simple yet effective distillation method (LightMBERT) for transferring the cross-lingual generalization ability of the multilingual BERT to a small student model. The experiment results empirically demonstrate the efficiency and effectiveness of LightMBERT, which is significantly better than the baselines and performs comparable to the teacher mBERT.

研究の動機と目的

• 高い遅延とメモリ使用量のため、リソース制限のあるデバイスへの大規模な多言語Bertモデルのデプロイの課題に対処すること。
• mBERTの多言語一般化能力を保持するが、より小さな学生モデルに効率的な知識蒸留法を開発すること。
• 学生モデルをmBERTの下位層で初期化し、その埋め込みを凍結することで、蒸留の効率性と性能が向上するかを調査すること。
• ゼロショット多言語設定において、上位層の蒸留と均一な蒸留の有効性を複数の言語で評価すること。

提案手法

• 教師モデルであるmBERTの埋め込み層と下位トランスフォーマー層を学生モデルに初期化することで、初期知識を継承する。
• 学習中に学生モデルの共有サブワード埋め込みを凍結し、多言語間の整合性を維持するとともに、学習の安定化を図る。
• 学生モデルの最上位トランスフォーマー層でのみ知識蒸留を実行し、注目力と隠れ状態の両方の蒸留損失を用いる。
• 教師と学生モデルの最上位層における注目行列と隠れ状態を一致させるために、平均二乗誤差（MSE）損失を用いる。
• 大規模な非教師付き単語彙集を複数の言語で用いて学生モデルを訓練することで、多言語間転送を可能にする。
• 結合損失関数を用いる：$\mathcal{L}_{\text{layer}} = \mathcal{L}_{\text{attn}} + \mathcal{L}_{\text{hidn}}$、ここで$\mathcal{L}_{\text{attn}}$ と $\mathcal{L}_{\text{hidn}}$ はそれぞれ注目力と隠れ状態のMSE損失である。

実験結果

リサーチクエスチョン

• RQ1 mBERTの下位層で初期化された学生モデルは、多言語知識蒸留において、蒸留の効率性と性能を顕著に向上させるか？
• RQ2 蒸留中に共有サブワード埋め込みを凍結することで、多言語一般化能力と学習の安定性が向上するか？
• RQ3 多言語設定において、上位層の蒸留は全層にわたる均一な蒸留よりも効果的か？
• RQ4 蒸留された学生モデルは、ゼロショット多言語タスクにおいて、完全なmBERT教師モデルに近い性能を達成できるか？

主な発見

• LightMBERTは15言語で平均XNLIスコア70.3を達成し、すべてのベースラインを上回り、mBERT教師モデル（70.5）に非常に近い性能を示した。
• 共有サブワード埋め込みを凍結することで、平均で0.6%の性能向上が確認され、多言語間整合性の重要性が裏付けられた。
• 上位層の蒸留は均一な蒸留よりも優れた結果をもたらし、均一ベースライン比で平均1.7%の向上を示した。
• DistilmBERT（平均スコア65.2）とTinyMBERT（平均スコア68.2）を著しく上回り、優れた蒸留効率を示した。
• mBERT_drop（プルーニング済みmBERT）ですらDistilmBERTを上回るが、LightMBERTはさらに3.2%向上させ、失われた知識の効果的な回復を示した。
• アブレーションスタディにより、初期化、埋め込みの凍結、上位層の蒸留の各要素が最終性能に有意義に寄与していることが確認された。