[論文レビュー] Czert -- Czech BERT-like Model for Language Representation

Jakub Sido, Ondřej Pražák+4 more|arXiv (Cornell University)|Mar 24, 2021

Natural Language Processing Techniques参考文献 38被引用数 7

ひとこと要約

この論文では、BERTおよびALBERTアーキテクチャに基づき、36 GBの多様なチェコ語テキスト（多言語モデルの50倍以上の文数）を事前学習した、チェコ語専用の最初の単言語Bert類似言語モデルCzertを紹介する。Czert-Bモデルは、意味的類似性、センチメント分類、名前付きエンティティ認識、意味的役割ラベリングを含む11のNLPタスクのうち9つで最先端の性能を達成し、mBERT や SlavicBERT といった多言語モデルを上回っている。研究利用のため、公開された事前学習済みおよび微調整済みモデルが利用可能である。

ABSTRACT

This paper describes the training process of the first Czech monolingual language representation models based on BERT and ALBERT architectures. We pre-train our models on more than 340K of sentences, which is 50 times more than multilingual models that include Czech data. We outperform the multilingual models on 9 out of 11 datasets. In addition, we establish the new state-of-the-art results on nine datasets. At the end, we discuss properties of monolingual and multilingual models based upon our results. We publish all the pre-trained and fine-tuned models freely for the research community.

研究の動機と目的

• 多言語モデルの制限を克服し、チェコ語に特化した高性能な単言語Bert類似言語モデルを開発すること。
• 多言語モデルに比べてはるかに大きなチェコ語固有のコーパス（36 GB、34万文以上）を用いて、言語表現の向上を図ること。
• 意味的テキスト類似性、名前付きエンティティ認識、センチメント分類を含む、チェコ語NLPの主要タスクで最先端の結果を確立すること。
• チェコ語NLPコミュニティの研究利用を想定し、完全に訓練済みで即時利用可能な事前学習済みおよび微調整済みモデルを公開すること。

提案手法

• Wikipedia、ニュース、チェコ国立コーパスを統合した36 GBのチェコ語テキストコーパス上で、ランダム初期化からCzert-B（BERTベース）およびCzert-A（ALBERTベース）モデルを事前学習する。
• 標準的なマスク言語モデル（MLM）目的関数と、変更を加えた次文予測（NSP）タスクを事前学習目的として使用する。
• 意味的テキスト類似性（STS）、名前付きエンティティ認識（NER）、活用語態 tagging（MoT）、意味的役割ラベリング（SRL）、センチメント分類（SC）、マルチラベルドキュメント分類（MLC）の6つの下流NLPタスクで、事前学習済みモデルを微調整する。
• これらのタスクの11のデータセットで性能を評価し、多言語モデル（mBERT および SlavicBERT）と比較する。
• 標準的なBERT/ALBERTアーキテクチャを採用し、12層、768次元の隠れ層（Czert-B）、12個のアテンションヘッドを用い、Czert-Aではパラメータの削減を目的に重み共有を実施する。
• STSタスクの評価には10分割交差検証を適用し、95%信頼区間を伴う平均性能を報告する。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ多様なチェコ語コーパスで事前学習された単言語Bert類似モデルは、既存の多言語モデルを上回る性能を示せるか？
• RQ2 mBERT や SlavicBERT といった多言語モデルと比較して、チェコ語固有のモデルはさまざまなNLPベンチマークでどの程度の性能を示すか？
• RQ3 事前学習コーパスのサイズを50倍に拡大することで、チェコ語NLPの下流タスク性能はどの程度向上するか？
• RQ4 Czert-Bモデルは、意味的テキスト類似性や名前付きエンティティ認識といった主要なチェコ語NLPタスクで最先端の結果を達成できるか？

主な発見

• Czert-Bは、評価された11のデータセットのうち9つでmBERT や SlavicBERT を上回り、9つのデータセットで新しい最先端の結果を樹立した。
• STSタスクでは、Czert-Bがピアソン相関係数89.29±0.17を達成し、mBERT（87.88±0.08）および SlavicBERT（88.97±0.09）を顕著に上回った。
• センチメント分類（SC）タスクでは、CNAデータセットでF1スコア83.74±0.40を達成し、前回の最先端結果から5%の向上を示した。
• CNECデータセットを用いたNERタスクでは、F1スコア86.27を達成し、前回の最先端結果から5%の向上を示し、SlavicBERTをも上回った。
• CoNLL-09 SRLデータセットでは、F1スコア99.410の新しい最先端結果を達成し、mBERT（99.301）および SlavicBERT（99.211）を上回った。
• 多言語ベースラインと比較して、特に小規模データセットにおいて、より安定的で頑健な学習が実現され、過学習の程度も低減した。