[論文レビュー] Distilling the Knowledge of Romanian BERTs Using Multiple Teachers

Andrei-Marius Avram, Darius Catrina+5 more|arXiv (Cornell University)|Dec 23, 2021

Natural Language Processing Techniques被引用数 8

ひとこと要約

本稿では、単一およびアンサンブル教師から知識蒸留を用いて作成された、ルーマニア語向けの3つの蒸留済みBERTモデル—Distil-BERT-base-ro、Distil-RoBERT-base、DistilMulti-BERT-base-ro—を紹介する。これらの蒸留モデルは、5つの自然言語処理（NLP）タスクにおいて教師モデルと同等の性能を達成している一方で、サイズは35%小さく、GPU上ではほぼ2倍速く動作し、ラベル、確率、回帰の各指標における予測忠実度も高い。

ABSTRACT

Running large-scale pre-trained language models in computationally constrained environments remains a challenging problem yet to be addressed, while transfer learning from these models has become prevalent in Natural Language Processing tasks. Several solutions, including knowledge distillation, network quantization, or network pruning have been previously proposed; however, these approaches focus mostly on the English language, thus widening the gap when considering low-resource languages. In this work, we introduce three light and fast versions of distilled BERT models for the Romanian language: Distil-BERT-base-ro, Distil-RoBERT-base, and DistilMulti-BERT-base-ro. The first two models resulted from the individual distillation of knowledge from two base versions of Romanian BERTs available in literature, while the last one was obtained by distilling their ensemble. To our knowledge, this is the first attempt to create publicly available Romanian distilled BERT models, which were thoroughly evaluated on five tasks: part-of-speech tagging, named entity recognition, sentiment analysis, semantic textual similarity, and dialect identification. Our experimental results argue that the three distilled models offer performance comparable to their teachers, while being twice as fast on a GPU and ~35% smaller. In addition, we further test the similarity between the predictions of our students versus their teachers by measuring their label and probability loyalty, together with regression loyalty - a new metric introduced in this work.

研究の動機と目的

• ルーマニア語のような低リソース言語向けに、効率的で軽量なBERTモデルが不足しているという問題に取り組む。
• 実世界のNLP応用における大規模事前学習モデルの計算コストおよび環境的影響を低減する。
• 方言識別のような低リソース状況を含む、多様なルーマニア語NLPタスクにおいて、蒸留モデルの評価を実施する。
• 教師モデルと生徒モデル間の予測類似度を測る新しい忠実度指標（ラベル忠実度、確率忠実度、回帰忠実度）を導入し、検証する。
• 蒸留モデルおよびトレーニングスクリプトをオープンソース化することで、再現性の向上とコミュニティへの広範な採用を促進する。

提案手法

• 知識蒸留を用いて、より大きな教師モデル（BERT-base-roおよびRoBERT-base）のソフトラベルを活用して、より小さな生徒モデルを訓練する。
• 3つの生徒モデルを構築：それぞれ教師モデル1つずつから個別に、および両教師モデルのアンサンブルを用いた第3のモデル（統合学習コーパスとBERT-base-roトークナイザーを用いる）。
• 蒸留プロセスでは、教師と生徒のログットの間の交差エントロピー損失を最小化し、温度スケーリングを用いてソフトラベルの転送を改善する。
• 予測忠実度は、ラベル忠実度（生徒の予測が教師のラベルと一致する割合）、確率忠実度（出力分布間のKullback-Leibler発散）、回帰忠実度（回帰タスクにおけるピアソン相関）の3つの忠実度指標を用いて評価する。
• 推論速度は、16〜512トークンのシーケンス長の範囲で、CPUおよびGPU上で、基準モデル（base、small、large）と比較して測定する。
• すべてのモデルは、品詞タグ付け、名前付きエンティティ認識（NER）、感情分析、方言識別、意味的テキスト類似度の5つのルーマニア語NLPタスクで評価される。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、多様なNLPタスクにおいて性能を保持しつつ、ルーマニア語BERTモデルを効果的に圧縮できるか？
• RQ2 複数のルーマニア語BERT教師からのアンサンブル蒸留は、単一教師からの蒸留と比較して、生徒モデルの性能および一般化能力にどのように影響するか？
• RQ3 ラベル、確率、回帰忠実度という指標で測定した場合、蒸留モデルは教師モデルとの予測一貫性をどの程度維持しているか？
• RQ4 特にGPU上で、蒸留モデルは教師モデルと比較してどの程度高速に推論できるか？
• RQ5 方言識別のような特定の低リソースNLPタスクにおいて、蒸留モデルは教師モデルを上回る性能を示せるか？

主な発見

• Distil-BERT-base-roは方言識別タスクで74.76%のF1スコアを達成し、アンサンブル蒸留モデルを1.5%上回った。
• DistilMulti-BERT-base-roモデルは、教師モデルとの間で最高の回帰忠実度（94.64%）を示し、回帰タスクにおける出力類似度の高さを裏付けた。
• すべての蒸留モデルは、GPU上での教師モデルと比較して約35%小さく、ほぼ2倍速く動作した。特に長文シーケンスでは顕著な高速化が見られた。
• 平均して、すべての5つの評価タスクにおいて、蒸留モデルは教師モデルのパフォーマンスの90%以上を維持しており、一部のタスクではわずかな向上も観察された。
• 感情分析や意味的テキスト類似度などの複数のタスクで、蒸留モデルは教師モデルおよび他のベースラインモデルを上回った。
• GPU上での推論速度は、ベースモデルと比較してほぼ2倍に向上し、全モデルサイズの中で最も優れた性能を示した。特に長文シーケンスでは顕著な優位性が確認された。