[論文レビュー] Cedille: A large autoregressive French language model

Martin Müller, Florian Laurent|arXiv (Cornell University)|Feb 7, 2022

Topic Modeling被引用数 7

ひとこと要約

Cedille は、マルチリンガル C4 データセットのフィルタリングされたフランス語サブセットで事前学習された 6.05B パラメータの自己回帰的言語モデルであり、フランス語 NLP ベンチマークで最先端のゼロショット性能を達成し、データセットレベルのフィルタリングにより GPT-3 よりも毒性低減を実現した。このモデルは MIT ライセンスの下で公開されており、フランス語生成における安全性と滑らかさの向上を示している。

ABSTRACT

Scaling up the size and training of autoregressive language models has enabled novel ways of solving Natural Language Processing tasks using zero-shot and few-shot learning. While extreme-scale language models such as GPT-3 offer multilingual capabilities, zero-shot learning for languages other than English remain largely unexplored. Here, we introduce Cedille, a large open source auto-regressive language model, specifically trained for the French language. Our results show that Cedille outperforms existing French language models and is competitive with GPT-3 on a range of French zero-shot benchmarks. Furthermore, we provide an in-depth comparison of the toxicity exhibited by these models, showing that Cedille marks an improvement in language model safety thanks to dataset filtering.

研究の動機と目的

• フランス語専用の大規模かつオープンソースの自己回帰的言語モデルの開発を目的とする。
• 既存の単言語およびマルチリンガルモデルと比較して、フランス語 NLP タスクにおけるゼロショット性能の向上を図ること。
• 生成段階の制御ではなく、トレーニングデータの事前のフィルタリングによってモデルの毒性を低減すること。
• 閉鎖型の大規模言語モデルに対する再現可能で透明性のある代替案を提供し、研究のアクセス性と安全性を高めること。

提案手法

• モデルアーキテクチャは GPT-J をベースとし、28 層、4096 モデル次元、16 個のアテンションヘッド、およびロータリー位置埋め込みを備えたデコーダー専用のトランスフォーマーである。
• 事前学習は、mC4 のフランス語サブセットのフィルタリング版を用いて実施され、データクリーニング後、合計で 2.65 億件のドキュメントが対象となった。
• 毒性フィルタリングには Detoxify モデルが使用され、毒性スコアが 0.5 を超えるドキュメント（コンテンツ全体の 0.25%）が削除され、合計 0.8 百万件のドキュメントが除外された。
• 損失ベースのフィルタリングには FlauBERT が用いられ、極端な損失値（0.2 パーセンタイル未満または 10 以上）を示すドキュメントが特定され削除され、約 20% のドキュメント（6600 万件）が除外された。
• 最終的なモデルは、GPT-J からの微調整によって得られ、事前に英語およびフランス語の両方のデータにさらされたことで、ゼロショットの多言語的能力が向上した。
• 毒性評価は、クリーニング済みのフランス語プロンプトセットを用いたプロンプトベースの生成によって実施され、25 回の生成における最大毒性と毒性出力の確率が測定された。

実験結果

リサーチクエスチョン

• RQ1 大規模な単言語フランス語言語モデルは、GPT-3 のような超大規模マルチリンガルモデルと比較して、競争力のあるゼロショット性能を達成できるか？
• RQ2 トレーニングデータの毒性フィルタリングは、モデル性能に悪影響を及げることなく、生成される毒性出力の量的低減を実現できるか？
• RQ3 Cedille のゼロショット NLP ベンチマークでの性能は、GPT-fr や PAGnol などの既存のフランス語モデルと比較してどうか？
• RQ4 フィルタリングされ、高品質なフランス語データセットで事前学習することで、フランス語理解タスクにおける perplexity と文の自然さはどの程度向上するか？
• RQ5 マルチリンガルベース（GPT-J）から微調整されたモデルは、タスク固有の微調整なしに、フランス語-英語間の強力なゼロショット翻訳性能を達成できるか？

主な発見

• Cedille はフランス語 WikiText ベンチマークで、新たな最先端の perplexity スコアを達成し、優れた言語モデル能力を示している。
• ゼロショット NLP ベンチマークにおいて、Cedille は既存のフランス語言語モデルを上回り、いくつかのタスクで GPT-3 の性能と同等またはそれを上回っている。
• 25 回の生成における期待最大毒性は Cedille で 0.66 であり、GPT-3（0.68）、GPT-J（0.73）、GPT-fr（0.73）よりも低い。これは毒性の低減を示している。
• 25 回の生成で少なくとも 1 回の毒性出力が生成される確率は Cedille で 0.72 であり、GPT-3（0.74）、GPT-J（0.78）、GPT-fr（0.78）よりも低い。安全性の向上が確認された。
• トレーニングデータの毒性フィルタリングにより、最大毒性と毒性生成の確率の両方が低減され、データレベルでの安全性対策の有効性が裏付けられた。
• 損失計算にバグがあったため、約 10% の誤ってフィルタリングされたサンプルが含まれる可能性があったが、系統的なバイアスは検出されず、モデル性能は依然として安定していた。