[論文レビュー] RobBERT-2022: Updating a Dutch Language Model to Account for Evolving Language Use

Pieter Delobelle, Thomas Winters+1 more|Lirias (KU Leuven)|Nov 15, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、2022年オランダ語OSCARコーパスから抽出した新しい高頻度トークンをトークナイザーに追加し、このデータ上でさらなる事前学習を施したことで、2019年に訓練された最先端のオランダ語RoBERTaベース言語モデルであるRobBERTの更新版であるRobBERT-2022を提示する。更新されたモデルは、特にCOVID-19関連テキストにおいて顕著な性能向上を示し、同時に古いベンチマークでも高い性能を維持しており、進化する言語使用に応じた継続的な言語モデルの適応の価値を示している。

ABSTRACT

Large transformer-based language models, e.g. BERT and GPT-3, outperform previous architectures on most natural language processing tasks. Such language models are first pre-trained on gigantic corpora of text and later used as base-model for finetuning on a particular task. Since the pre-training step is usually not repeated, base models are not up-to-date with the latest information. In this paper, we update RobBERT, a RoBERTa-based state-of-the-art Dutch language model, which was trained in 2019. First, the tokenizer of RobBERT is updated to include new high-frequent tokens present in the latest Dutch OSCAR corpus, e.g. corona-related words. Then we further pre-train the RobBERT model using this dataset. To evaluate if our new model is a plug-in replacement for RobBERT, we introduce two additional criteria based on concept drift of existing tokens and alignment for novel tokens.We found that for certain language tasks this update results in a significant performance increase. These results highlight the benefit of continually updating a language model to account for evolving language use.

研究の動機と目的

• 言語使用の変化により言語モデルが古くなりがちな問題に取り組むこと、特にオランダ語において。
• 2019年に訓練された最先端のオランダ語BERTモデルであるRobBERTを、最新の言語的変化を反映させるために更新すること。
• 更新されたモデルが古いタスクでは性能を維持しながら、新しいタスクでは向上しているかどうかを評価すること。
• 新規トークンに対する概念のずれと整合性に基づく新しい評価基準を導入すること。

提案手法

• 2022年オランダ語OSCARコーパスから抽出した、例えばコロナ関連用語を含む新しい高頻度サブワードおよびトークンをRoBERTaトークナイザーに拡張した。
• マスク言語モデル化（MLM）を唯一の事前学習目的として用い、RobBERT v2モデルを2022年OSCARデータセット上でさらに事前学習した。
• AdamW最適化手法を用い、初期基準学習率を1e-6、ウォームアップステップ数を1,000に設定し、検証パープレキシティ（PPPL）に基づく早期停止を適用した。
• ベンチマークタスク、最近のドメイン特化タスク（例：COVID-19 FAQ分類およびツイート分類）、および文埋め込みのt-SNE可視化を組み合わせてモデルを評価した。
• 概念のずれ分析（既存トークンに対する）と新規トークンの整合性評価という2つの新しい評価基準を導入した。

実験結果

リサーチクエスチョン

• RQ1 より最近のオランダ語テキストコーパス上でさらなる事前学習を施すことで、最近のNLPタスクにおける性能が向上するか、かつ古いベンチマークタスクの性能が低下しないか？
• RQ2 更新されたモデルが、以前に学習した言語的パターンに対して、どの程度概念のずれや壊滅的忘却を示すか？
• RQ3 RobBERT-2022の埋め込み表現は、COVID-19パンデミック関連用語のような新規導入トークンの意味的情報をどの程度適切に捉えているか？
• RQ4 更新されたモデルは、下流アプリケーションにおいて、元のRobBERTの直接的な代替として使用可能か？

主な発見

• VaccinChatタスク（オランダ語COVID-19ワクチンFAQ分類）において、RobBERT-2022は79.3%のF1スコアを達成し、元のRobBERT v2（77.2% F1）を上回った。
• ベルギーのCOVID-19対策に関するツイート分類タスクでは、RobBERT-2022が75%の正解率を示したのに対し、元のRobBERTおよび多言語BERTは両者とも73%であった。
• 概念のずれは最小限に抑えられ、古いベンチマークタスクでの性能低下は顕著ではなく、2019年の元のコーパスにおける疑似パープレキシティもわずかに上昇（9.40 vs. 7.76）にとどまった。
• t-SNE可視化から、RobBERT-2022と元のモデルとの間で文埋め込みの配置が明確にシフトしていることが確認され、2022年のデータにおける新しい意味的パターンへの適応が示された。
• 更新されたモデルは、特にパンデミック関連用語において、近年の言語使用に適応した良好な整合性を示しながらも、強力な一般化能力を維持している。