[論文レビュー] FlauBERT: Unsupervised Language Model Pre-training for French

Hang Le, Loïc Vial+8 more|arXiv (Cornell University)|Dec 11, 2019

Topic Modeling参考文献 72被引用数 61

ひとこと要約

FlauBERTは大規模な多様なフランス語コーパスで事前学習されたモノリンガルなフランス語Transformer言語モデルであり、複数のフランス語NLPタスクで最先端の成果を達成し、再現可能な評価のためのFLUEベンチマークとともに公開されました。

ABSTRACT

Language models have become a key step to achieve state-of-the art results in many different Natural Language Processing (NLP) tasks. Leveraging the huge amount of unlabeled texts nowadays available, they provide an efficient way to pre-train continuous word representations that can be fine-tuned for a downstream task, along with their contextualization at the sentence level. This has been widely demonstrated for English using contextualized representations (Dai and Le, 2015; Peters et al., 2018; Howard and Ruder, 2018; Radford et al., 2018; Devlin et al., 2019; Yang et al., 2019b). In this paper, we introduce and share FlauBERT, a model learned on a very large and heterogeneous French corpus. Models of different sizes are trained using the new CNRS (French National Centre for Scientific Research) Jean Zay supercomputer. We apply our French language models to diverse NLP tasks (text classification, paraphrasing, natural language inference, parsing, word sense disambiguation) and show that most of the time they outperform other pre-training approaches. Different versions of FlauBERT as well as a unified evaluation protocol for the downstream tasks, called FLUE (French Language Understanding Evaluation), are shared to the research community for further reproducible experiments in French NLP.

研究の動機と目的

• 大量のラベルなしフランス語テキストを活用して文脈表現を高め、フランス語NLPの改善を促進する。
• 多様なタスクで多言語モデルを上回るモノリンガルなフランス語BERT系モデルを開発する。
• 再現性のあるパイプラインとフランス語NLP評価ベンチマーク（FLUE）を提供する。
• 複数のFlauBERTバージョンをリリースし、タスクを横断してCamemBERTとmBERTと比較する。

提案手法

• 24のサブコーパスから構成された71GBのフランス語コーパスを用い、MLM目的（NSPなし）で2つのFlauBERTバリアント（baseとlarge）を事前学習する。
• 50KのBPE語彙を用い、BPE前に基本的なフランス語トークナイザを使用する。
• 大規模モデルの学習を安定化させるために、pre-norm Transformerと確率的深さを採用する。
• 基礎モデルは32GPU、大規模モデルは128GPUで、学習率の調整・ウォームアップ・Adam最適化を慎重に行い、十分なGPUリソースで訓練する。
• フランス語NLPタスクの一連を通じて FlauBERT を mBERT、CamemBERT、XLM-R と比較する。
• 前処理と訓練スクリプトを提供し、再現性のあるフランス語NLP評価のための統一FLUEベンチマークを提供する。

実験結果

リサーチクエスチョン

• RQ1 大規模な異種のフランス語コーパスで訓練されたモノリンガルのフランストランスフォーマーモデルは、フランス語NLPタスクで多言語モデルを上回れるか。
• RQ2 さまざまなフランス語NLPタスクに対する性能に対するモデルサイズ（base vs large）の影響は？
• RQ3 モノリンガルなフランス語モデルは、既存のフランス語モデルおよび多言語モデルと比較して、包括的なフランス語評価スイート（FLUE）で最先端の結果を達成するか？

主な発見

• FlauBERTは、いくつかのフランス語NLPタスクでmBERTのような多言語モデルを上回る。
• 大規模なFlauBERTモデルは、タスク全体で基礎モデルと比較して一般に最良の結果を出し、いくつかの設定でCamemBERTと互換性がある。
• 構文解析タスクではFlauBERTベースのシステムが高い性能を示し、アンサンブル構成でさらに改善される。
• いくつかの設定では、学習データが少ないにもかかわらず、複数のタスクでCamemBERTと競合するか、それを上回る結果をFlauBERTは達成している。
• 再現性のあるフランス語NLPシステムの評価を促進するための統一FLUEベンチマークがリリースされる。