[論文レビュー] EstBERT: A Pretrained Language-Specific BERT for Estonian

Hasan Tanvir, Claudia Kittask+2 more|arXiv (Cornell University)|Nov 9, 2020

Topic Modeling参考文献 19被引用数 5

ひとこと要約

この論文は、12億トークンにのぼるエストニア語コーパス上で事前学習された大規模な言語特化型BERTモデルEstBERTを紹介しており、7つのNLPタスクのうち5つで最先端の性能を達成している。多言語BERTモデルや、Wikipediaのみで学習された小規模なエストニア語BERTバージョンを上回っている。結果から、多言語モデルが利用可能であっても、より大規模かつ多様なコーパスを用いて言語特化型モデルを学習することで、一般化性能とタスク性能が著しく向上することが示された。

ABSTRACT

This paper presents EstBERT, a large pretrained transformer-based language-specific BERT model for Estonian. Recent work has evaluated multilingual BERT models on Estonian tasks and found them to outperform the baselines. Still, based on existing studies on other languages, a language-specific BERT model is expected to improve over the multilingual ones. We first describe the EstBERT pretraining process and then present the results of the models based on finetuned EstBERT for multiple NLP tasks, including POS and morphological tagging, named entity recognition and text classification. The evaluation results show that the models based on EstBERT outperform multilingual BERT models on five tasks out of six, providing further evidence towards a view that training language-specific BERT models are still useful, even when multilingual models are available.

研究の動機と目的

• エストニア語という低リソース言語向けに、多言語モデルを上回る高性能な言語特化型BERTモデルを開発すること。
• より大規模かつ多様なコーパスで学習された言語特化型BERTが、小規模または代表的でないデータで学習されたモデルよりも優れた一般化性能を示すかどうかを調査すること。
• 複数の下流NLPタスクにおいて、EstBERTの性能を既存の多言語BERTモデル（例：XLM-RoBERTa）および小規模なエストニア語専用モデル（WikiBERT）と比較すること。
• 事前学習データのスケールと多様性が、低リソース環境におけるモデルの一般化性能と頑健性に与える影響を評価すること。
• NLP研究コミュニティが利用可能な高品質なエストニア語BERTモデルを公開すること。

提案手法

• マスクされた言語モデル化の目的関数を用いて、12億トークンにのぼるエストニア語国立コーパス2017（ニュース、ウェブ、Wikipediaテキストを含む）上でEstBERTを事前学習した。
• HTML/XMLタグの除去、検出ライブラリを用いた言語フィルタリング、ハッシュ化による重複削除、語彙サイズの削減のためのトゥルーキャスティングを含む、広範なデータ前処理を実施した。
• Hugging Face Transformersライブラリを用いてモデルを実装・公開し、下流タスクにおける容易な微調整を可能にした。
• 7つの下流NLPタスク（品詞タグ付け、屈折語的タグ付け、依存構文解析、固有表現認識（NER）、テキスト分類）でEstBERTを微調整した。
• 多言語BERTモデル（例：XLM-RoBERTa）およびWikipediaデータのみで学習された小規模なエストニア語WikiBERTモデルと性能を比較した。
• 各タスクに特化したヘッドを用いた標準的なBERT微調整手順を採用し、各タスクの最適化されたハイパーパrameterを設定した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ多様なエストニア語コーパスで学習された言語特化型BERTモデルは、エストニア語NLPタスクにおいて多言語BERTモデルを上回る性能を示すか？
• RQ2 エストニア語専用モデル（WikiBERT）と比較して、EstBERTは複数のNLPタスクにおいて一般化性能と性能にどの程度優れているか？
• RQ3 エストニア語のような低リソース言語において、言語特化型事前学習による改善効果が、多言語事前学習の利点を上回る程度はどれほどか？
• RQ4 より広範なコーパスで学習された大規模な言語特化型モデルは、エストニアベンチマークにおいて、最高性能を示す多言語モデルでさえも上回れるか？
• RQ5 データのスケールと多様性が、低リソース言語向けの事前学習言語モデルの頑健性と一般化性能に与える影響は何か？

主な発見

• EstBERTは、品詞タグ付け、屈折語的タグ付け、依存構文解析、NER、テキスト分類の5つの下流NLPタスクで、多言語BERTモデルを上回った。
• 固有表現認識タスクでは、XLM-RoBERTaよりも高いF1スコアを達成したが、その差は小さく、データセットのノイズの多いアノテーションが要因の可能性がある。
• EstBERTは、7つのタスクのうち6つでエストニア語専用モデル（WikiBERT）を著しく上回り、より大規模かつ多様な事前学習データが与えるポジティブな影響を示した。
• EstBERTと多言語モデルとの性能差は、依存構文解析や屈折語的タグ付けのような、深い句構造的・屈折的理解を要するタスクで最も顕著に現れた。
• XLM-RoBERTaがエストニア語タスクで強く性能を発揮しているにもかかわらず、EstBERTの結果は、多言語RoBERTaモデルをエストニア語データでさらに微調整することでさらなる向上が得られることを示唆している。
• 本研究は、高品質な単一言語データが十分に入手可能な場合、多言語モデルの時代においても言語特化型事前学習が依然として価値を持つという実証的証拠を提供している。