[論文レビュー] German's Next Language Model

Branden Chan, Stefan Schweter+1 more|arXiv (Cornell University)|Oct 21, 2020

Topic Modeling参考文献 22被引用数 9

ひとこと要約

本稿では、微調整中の下流評価を用いて最良のチェックポイントを選択する評価駆動型アプローチを用いて、GBERT および GELECTRA という最先端のドイツ語 BERT および ELECTRA 言語モデルを提示する。これらのモデルは、GermEval18 および GermEval14 で新たな SoTA 結果を達成しており、GELECTRA Large は Named Entity Recognition (NER) で +4.3% F1、ハートスプライド検出で +2.45% の向上を示した。また、訓練データの増加と Whole Word Masking (WWM) が性能向上に顕著に寄与することが示された。

ABSTRACT

In this work we present the experiments which lead to the creation of our BERT and ELECTRA based German language models, GBERT and GELECTRA. By varying the input training data, model size, and the presence of Whole Word Masking (WWM) we were able to attain SoTA performance across a set of document classification and named entity recognition (NER) tasks for both models of base and large size. We adopt an evaluation driven approach in training these models and our results indicate that both adding more data and utilizing WWM improve model performance. By benchmarking against existing German models, we show that these models are the best German models to date. Our trained models will be made publicly available to the research community.

研究の動機と目的

• 下流タスクの性能に基づいて最適なチェックポイントを選択する評価駆動型事前学習戦略を用いて、高精度なドイツ語言語モデルを開発すること。
• 訓練データ量、モデルサイズ、および Whole Word Masking (WWM) がドイツ語 BERT および ELECTRA モデルの性能に与える影響を調査すること。
• 文書分類および名前付きエンティティ認識 (NER) を含むドイツ語 NLP ベンチマークで、新たな最先端 (SoTA) のパフォーマンスを確立すること。
• 研究コミュニティに公開可能な高品質なドイツ語言語モデルを提供すること。

提案手法

• 評価駆動型事前学習アプローチが採用され、モデルは定期的にチェックポイント化され、下流分類および NER タスクで評価され、最も性能の良いモデルが選択された。
• 入力データ（例：OSCAR、Common Crawl）、モデルサイズ（base および large）、および Whole Word Masking (WWM) の有無を変更することで、複数の訓練レジームをテストした。
• BERT ベースのモデルでは、マスクド言語モデリング (MLM) が使用され、WWM により単語のすべてのサブワードトークンが同時にマスクされた。
• ELECTRA ベースのモデルでは、置換トークン検出の事前学習タスクが採用され、ジェネレータが妥当なトークンの代替を生成し、ディスクライマーが各トークンが本物か置換済みかを分類する。
• モデルは、GermEval18（ハートスプライド検出）および GermEval14（NER）などの下流タスクで微調整され、F1 スコアおよび正答率で性能が測定された。
• 訓練は TPU ポッドおよび EC2 インスタンスを用いて実施され、モデル選択は評価タスク全体で最高のパフォーマンスに基づいた。

実験結果

リサーチクエスチョン

• RQ1 訓練データ量の増加がドイツ語 BERT および ELECTRA モデルの性能に顕著に影響を与えるか？
• RQ2 標準的なマスキングと比較して、Whole Word Masking (WWM) がドイツ語 BERT モデルの性能に与える影響は何か？
• RQ3 ELECTRA ベースのモデルは、より効率的な事前学習により、少ない訓練トークン数で BERT ベースのモデルを上回る性能を達成できるか？
• RQ4 モデルサイズ（base と large）がドイツ語 NLP タスクの下流性能に与える影響は何か？
• RQ5 評価駆動型事前学習戦略は、固定ステップでの訓練に比べ、最終的なモデルパフォーマンスを上回ることができるか？

主な発見

• GELECTRA Large は、GermEval14 の NER タスクで 88.95 の新たな SoTA F1 スコアを達成し、前回の最良結果を +4.3% 上回った。
• GermEval18 のハートスプライド検出タスクでは、GELECTRA Large が細分化バージョンで前回の SoTA を +2.45% 上回り、粗分化バージョンでは +3.93% の向上を示した。
• GBERT Data + WWM は、3つの NLP タスクの平均 F1 スコアで DBMDZ BERT Base を +2.18% 上回った。
• GELECTRA Large は、バッチサイズが小さいため訓練トークン数が半分に抑えられても、GBERT Large を平均 F1 スコアで +1.47% 上回った。
• Whole Word Masking は一貫して BERT ベースのモデルの性能を向上させ、GBERT WWM は DBMDZ BERT Base を +1.25% F1 上回った。また、GBERT Data + WWM は GBERT Data を +2.38% F1 上回った。
• より多くの訓練データを追加することで、測定可能なパフォーマンスの向上が得られ、GELECTRA Data は GELECTRA を +1.59% F1 上回り、GBERT Data + WWM は GBERT Data を +0.93% F1 上回った。