[論文レビュー] RobBERTje: a Distilled Dutch BERT Model

Pieter Delobelle, Thomas Winters+1 more|arXiv (Cornell University)|Apr 28, 2022

Natural Language Processing Techniques被引用数 7

ひとこと要約

本論文では、効率性を向上させるために知識蒸留を用いて訓練された、最先端のオランダ語 BERT モデル RobBERT のより小型で蒸留されたバージョンである RobBERTje を紹介する。研究では、シャッフルまたはマージされた訓練データが性能にほとんど影響しないことが判明した一方で、より大きな蒸留アーキテクチャ（例：DistilBERT）はより小さなアーキテクチャ（例：Bort）を上回り、すべての蒸留モデルは教員モデルよりも性的なステレオタイプ的バイアスが低減されていることが示された。

ABSTRACT

Pre-trained large-scale language models such as BERT have gained a lot of attention thanks to their outstanding performance on a wide range of natural language tasks. However, due to their large number of parameters, they are resource-intensive both to deploy and to fine-tune. Researchers have created several methods for distilling language models into smaller ones to increase efficiency, with a small performance trade-off. In this paper, we create several different distilled versions of the state-of-the-art Dutch RobBERT model and call them RobBERTje. The distillations differ in their distillation corpus, namely whether or not they are shuffled and whether they are merged with subsequent sentences. We found that the performance of the models using the shuffled versus non-shuffled datasets is similar for most tasks and that randomly merging subsequent sentences in a corpus creates models that train faster and perform better on tasks with long sequences. Upon comparing distillation architectures, we found that the larger DistilBERT architecture worked significantly better than the Bort hyperparametrization. Interestingly, we also found that the distilled models exhibit less gender-stereotypical bias than its teacher model. Since smaller architectures decrease the time to fine-tune, these models allow for more efficient training and more lightweight deployment of many Dutch downstream language tasks.

研究の動機と目的

• 実用的なデプロイメントに適した、オランダ語 RobBERT 言語モデルのより小型で効率的なバージョンを作成すること。
• さまざまなデータ処理戦略（シャッフル、マージ）が蒸留性能に与える影響を評価すること。
• 最適な効率性と正確性を実現するための、さまざまな蒸留アーキテクチャ（例：DistilBERT 対 Bort）を比較すること。
• 知識蒸留がオランダ語 NLP モデルにおける性的なステレオタイプ的バイアスを低減するかどうかを調査すること。
• 下流のオランダ語 NLP タスクにおける、より高速なファインチューニングとエネルギー効率の高い推論を可能にすること。

提案手法

• 知識蒸留は、小さな無ラベルのオランダ語コーパスを用いて RobBERT v2 モデルに適用された。
• 非シャッフル、シャッフル、および文をマージしたコーパスを用いた、さまざまなデータ前処理を施した複数の蒸留モデルが訓練された。
• 教員モデル（RobBERT）からのソフトラベルを用いて、学生モデルの訓練をガイドした。
• 学生モデルは、性能を評価するために複数の下流 NLP タスクでファインチューニングされた。
• モデル予測における性的なステレオタイプ的関連性を測定・比較するために、対数確率バイアススコアが計算された。
• 蒸留アーキテクチャには、標準的な DistilBERT と比較用のより小さな Bort 設定が含まれる。

実験結果

リサーチクエスチョン

• RQ1 蒸留中に訓練コーパスをシャッフルすることは、蒸留されたオランダ語 BERT モデルの性能に顕著な影響を及ぼすか？
• RQ2 訓練データにおける連続する文のマージは、長文シーケンスタスクの性能を向上させるか？
• RQ3 さまざまな蒸留アーキテクチャ（例：DistilBERT 対 Bort）は、正確性と効率性の観点でどのように比較されるか？
• RQ4 知識蒸留はオランダ語言語モデルにおける性的なステレオタイプ的バイアスを低減するか？
• RQ5 蒸留モデルは、顕著に低い計算およびストレージ要件で、準最先端の性能を達成できるか？

主な発見

• シャッフル済みと非シャッフルのコーパスで訓練されたモデルの性能は、ほとんどのタスクでほぼ同一であり、シャッフルの影響が最小限であることが示された。
• 訓練データにおける連続する文のマージは、長文シーケンスタスクの性能向上に加え、トレーニング速度の向上をもたらした。
• より大きな DistilBERT ベースのアーキテクチャは、評価されたすべてのタスクでより小さな Bort ハイパーパrametrization を顕著に上回った。
• すべての蒸留モデルは、教員モデルである RobBERT よりも性的なステレオタイプ的バイアスが低減されており、バイアススコアは -0.67 から -0.50 の範囲にあり、教員モデルの 1.10 と比較して顕著に低いことが確認された。
• 蒸留モデルは、顕著に低い計算パワーを要するファインチューニングおよび推論を実現しながら、準最先端の性能を達成した。
• 知識蒸留は正則化の役割を果たし、対数確率バイアススコア指標によって確認されたように、モデル予測におけるステレオタイプ的関連性を低減した。