[论文解读] Cedille: A large autoregressive French language model

Martin Müller, Florian Laurent|arXiv (Cornell University)|Feb 7, 2022

Topic Modeling被引用 7

一句话总结

Cedille 是一个在经过筛选的法语子集上预训练的 6.05B 参数自回归语言模型，其在法语自然语言处理基准测试中实现了最先进（SOTA）的零样本性能，并通过数据集级别的过滤在毒性减少方面优于 GPT-3。该模型以 MIT 许可证公开发布，在法语生成任务中表现出更高的安全性和流畅性。

ABSTRACT

Scaling up the size and training of autoregressive language models has enabled novel ways of solving Natural Language Processing tasks using zero-shot and few-shot learning. While extreme-scale language models such as GPT-3 offer multilingual capabilities, zero-shot learning for languages other than English remain largely unexplored. Here, we introduce Cedille, a large open source auto-regressive language model, specifically trained for the French language. Our results show that Cedille outperforms existing French language models and is competitive with GPT-3 on a range of French zero-shot benchmarks. Furthermore, we provide an in-depth comparison of the toxicity exhibited by these models, showing that Cedille marks an improvement in language model safety thanks to dataset filtering.

研究动机与目标

• 开发一个大规模、开源的自回归语言模型，专为法语设计。
• 与现有单语和多语模型相比，提升法语自然语言处理任务的零样本性能。
• 通过在训练数据层面主动过滤，而非事后生成控制，降低模型毒性。
• 提供可复现、透明的闭源大语言模型替代方案，提升研究可及性与安全性。

提出的方法

• 模型架构基于 GPT-J，采用仅解码器的 Transformer 结构，包含 28 层、4096 个模型维度、16 个注意力头以及旋转位置编码。
• 预训练在 mC4 的法语子集的筛选版本上，数据清洗后共包含 2.65 亿篇文档。
• 使用 Detoxify 模型进行毒性过滤，移除毒性评分 > 0.5 的文档（占内容的 0.25%），共排除 0.8 百万篇文档。
• 基于损失的过滤使用 FlauBERT 识别并移除损失值极端异常的文档（低于 0.2 百分位数或高于 10），共移除约 20% 的文档（6600 万篇）。
• 最终模型从 GPT-J 微调而来，利用其对英语和法语数据的已有学习，以提升零样本跨语言能力。
• 毒性评估通过在清洗后的法语提示集上进行基于提示的生成完成，测量 25 次生成中的最大毒性及有毒输出的概率。

实验结果

研究问题

• RQ1 一个大规模单语法语语言模型是否能在与 GPT-3 等超大规模多语模型的对比中，实现具有竞争力的零样本性能？
• RQ2 对训练数据进行毒性过滤是否能显著降低生成内容的毒性，同时不损害模型性能？
• RQ3 Cedille 在零样本 NLP 基准测试中的表现与现有法语模型（如 GPT-fr 和 PAGnol）相比如何？
• RQ4 在高质量、经过筛选的法语数据集上进行预训练，能在多大程度上提升法语语言理解任务中的困惑度与流畅性？
• RQ5 从多语基模型（GPT-J）微调而来的模型，是否能在无需特定任务微调的情况下，实现强大的法英零样本翻译性能？

主要发现

• Cedille 在法语 WikiText 基准测试中取得了新的最先进困惑度得分，表明其语言建模能力更优。
• 在零样本 NLP 基准测试中，Cedille 表现优于现有法语语言模型，并在多个任务中达到或超过 GPT-3 的性能。
• Cedille 在 25 次生成中的预期最大毒性为 0.66，低于 GPT-3（0.68）、GPT-J（0.73）和 GPT-fr（0.73），表明毒性更低。
• Cedille 在 25 次生成中至少产生一次有毒输出的概率为 0.72，低于 GPT-3（0.74）、GPT-J（0.78）和 GPT-fr（0.78），证实其安全性提升。
• 对训练数据的毒性过滤显著降低了最大毒性与生成有毒内容的可能性，证明了数据级安全干预的有效性。
• 尽管损失计算中存在一个可能导致约 10% 的样本被错误过滤的错误，但未检测到系统性偏差，且模型性能保持稳健。