[论文解读] From FreEM to D'AlemBERT: a Large Corpus and a Language Model for Early Modern French

Simon Gabay, Pedro Ortiz Suárez+5 more|arXiv (Cornell University)|Feb 18, 2022

Natural Language Processing Techniques被引用 4

一句话总结

本文介绍了 FreEM max，一个大规模的早期现代法语语料库（16至18世纪），以及基于 RoBERTa 的语言模型 D’AlemBERT，该模型在该语料库上进行了预训练。在词性标注任务上的微调结果显示了当前最优的性能，且从资源更丰富的时期向资源较少的时期展现出显著的迁移学习效果，证明了该模型在低资源历史自然语言处理任务中的有效性。

ABSTRACT

Language models for historical states of language are becoming increasingly important to allow the optimal digitisation and analysis of old textual sources. Because these historical states are at the same time more complex to process and more scarce in the corpora available, specific efforts are necessary to train natural language processing (NLP) tools adapted to the data. In this paper, we present our efforts to develop NLP tools for Early Modern French (historical French from the 16$^ ext{th}$ to the 18$^ ext{th}$ centuries). We present the $ ext{FreEM}_{ ext{max}}$ corpus of Early Modern French and D'AlemBERT, a RoBERTa-based language model trained on $ ext{FreEM}_{ ext{max}}$. We evaluate the usefulness of D'AlemBERT by fine-tuning it on a part-of-speech tagging task, outperforming previous work on the test set. Importantly, we find evidence for the transfer learning capacity of the language model, since its performance on lesser-resourced time periods appears to have been boosted by the more resourced ones. We release D'AlemBERT and the open-sourced subpart of the $ ext{FreEM}_{ ext{max}}$ corpus.

研究动机与目标

• 解决早期现代法语这一具有历史重要性但计算上具有挑战性的语言状态所面临的语言资源稀缺与复杂问题。
• 克服历史语言中语言变异程度越高、资源越少、处理越困难的悖论。
• 开发一个高质量、大规模的语料库（FreEM max）和一个针对早期现代法语定制的上下文语言模型（D’AlemBERT）。
• 通过在同一种语言状态内的低资源时期进行评估，展示迁移学习在历史自然语言处理中的实用性。
• 发布 D’AlemBERT 模型和 FreEM max 语料库的一个子部分，以支持数字人文和历史自然语言处理领域的开放研究。

提出的方法

• 构建了 FreEM max，一个涵盖16至18世纪的大型、精心筛选的早期现代法语文本语料库，数据来源包括多个数字化档案和历史文献集合。
• 使用掩码语言建模目标，在 FreEM max 语料库上对基于 RoBERTa 的语言模型 D’AlemBERT 进行了预训练。
• 通过在早期现代法语的词性标注任务上微调 D’AlemBERT，应用迁移学习，使用标准基准数据集进行训练。
• 在不同时间周期（包括资源丰富和资源匮乏的子时期）评估模型性能，以评估其可迁移性。
• 采用标准自然语言处理评估指标（如准确率、F1 分数）将 D’AlemBERT 与先前的最先进模型进行比较。
• 在开源许可证下发布 D’AlemBERT 模型权重和 FreEM max 语料库的一个子部分，以支持可复现性和进一步研究。

实验结果

研究问题

• RQ1 一个大规模、精心筛选的早期现代法语文本语料库能否支持高性能上下文语言模型的训练？
• RQ2 在 FreEM max 上预训练的基于 RoBERTa 的模型是否在下游自然语言处理任务（如词性标注）上优于先前的模型？
• RQ3 从资源更丰富的时期进行迁移学习，能在多大程度上提升在资源匮乏的子时期内的性能？
• RQ4 所提出的模型和语料库能否作为未来历史法语自然语言处理任务（如命名实体识别或共指消解）的基础？
• RQ5 在具有历史变异性和非标准化特征的语言上进行训练，会对模型的泛化能力和鲁棒性产生何种影响？

主要发现

• D’AlemBERT 在早期现代法语的词性标注基准测试中优于先前的最先进模型，取得了更高的准确率和 F1 分数。
• 该模型展现出强大的迁移学习能力，当在资源更丰富的子时期上进行训练时，其在资源匮乏时期的表现显著提升。
• 尽管 FreEM max 语料库尚未完全开源，但已公开发布其中一大部分，使更多研究者能够获取高质量的历史法语文本数据。
• 基于 RoBERTa 的架构在处理早期现代法语典型的词形变化和拼写变异方面表现出色。
• 结果验证了为资源有限且异构的历史语言训练专用语言模型的可行性和价值。
• D’AlemBERT 模型和 FreEM max 语料库的一部分的发布，为数字人文和历史自然语言处理领域的未来研究提供了新的基准和基础。