[论文解读] IT5: Text-to-text Pretraining for Italian Language Understanding and Generation

Gabriele Sarti, Malvina Nissim|arXiv (Cornell University)|Mar 7, 2022

Natural Language Processing Techniques被引用 15

一句话总结

本文提出 IT5，这是首个在清洗后的意大利语语料库（超过400亿词）上仅进行单语预训练的大规模编码器-解码器 T5 模型家族。IT5 模型在多个意大利语自然语言生成与理解任务上达到最先进性能，尤其在如问答和标题生成等条件生成任务中，持续优于多语言模型（如 mT5）。

ABSTRACT

We introduce IT5, the first family of encoder-decoder transformer models pretrained specifically on Italian. We document and perform a thorough cleaning procedure for a large Italian corpus and use it to pretrain four IT5 model sizes. We then introduce the ItaGen benchmark, which includes a broad range of natural language understanding and generation tasks for Italian, and use it to evaluate the performance of IT5 models and multilingual baselines. We find monolingual IT5 models to provide the best scale-to-performance ratio across tested models, consistently outperforming their multilingual counterparts and setting a new state-of-the-art for Italian language generation.

研究动机与目标

• 解决自然语言处理中意大利语高性能单语预训练模型的缺乏问题。
• 在意大利语条件语言生成与理解任务上实现超越多语言模型的性能提升。
• 提供一个经过彻底清洗、大规模的意大利语文本语料库，适用于预训练。
• 通过发布代码、数据和预训练模型，为意大利语 NLP 建立新基准。
• 研究在低资源与高资源设置下，单语与多语言预训练在意大利语上的权衡关系。

提出的方法

• 使用启发式方法清洗了超过400亿词的网络爬取意大利语文本语料，以去除非意大利语文本、重复内容、代码和粗俗用语。
• 在清洗后的意大利语文本语料上，使用 T5 编码器-解码器架构预训练了三个 IT5 模型（小、基、大）。
• 采用标准的 T5 文本到文本迁移范式，将所有 NLP 任务重新格式化为输入-输出序列形式。
• 在包含问答、摘要生成和风格迁移等8项下游任务上微调 IT5 模型。
• 将 IT5 性能与多语言基线模型（mT5、mBART）以及先前最先进系统在意大利语基准上进行比较。
• 使用 TPU v3-8 和高性能计算集群进行预训练与微调，利用 Hugging Face 的 JAX/Flax 兼容脚本。

实验结果

研究问题

• RQ1 在大规模清洗后的意大利语文本语料上预训练的单语 T5 模型，是否能在意大利语特定 NLP 任务上超越多语言模型？
• RQ2 单语预训练对意大利语条件生成任务的规模-性能比有何影响？
• RQ3 为何在新闻摘要和正式到非正式风格迁移等任务中，多语言模型仍优于单语模型？
• RQ4 计算资源限制在多大程度上限制了单语预训练中模型规模扩增带来的性能提升？
• RQ5 网络爬取数据中的偏差如何影响大型单语模型（如 IT5）的输出，这对部署有何影响？

主要发现

• IT5 模型在所评估的8项任务中的6项达到最先进性能，包括问答和标题生成，优于 mT5 和先前系统。
• IT5 Large 模型在抽取式问答的精确匹配指标上创下新 SOTA，尽管训练数据更少，但已接近 XLM-R Large 的表现。
• 多语言模型（mT5、mBART）在新闻摘要和正式到非正式风格迁移任务中仍占领先，可能归因于更大的模型规模和对多语言数据分布的暴露。
• 尽管预训练损失更低且预训练准确率更高，更大的 IT5 模型并未始终优于较小模型，表明计算资源限制了批量大小和模型优化。
• XFORMAL 数据集中存在的翻译伪影和英文缩写会干扰单语 IT5 模型，但多语言模型能更好地捕捉这些内容，表明其对噪声翻译数据更具适应性。
• 本研究强调了时间与计算资源之间的权衡，表明对于某些任务，继续在多语言模型上进行预训练可能比完全单语预训练更有效。