[论文解读] AraT5: Text-to-Text Transformers for Arabic Language Understanding and Generation

El Moatez Billah Nagoudi, AbdelRahim Elmadany+1 more|arXiv (Cornell University)|Aug 31, 2021

Topic Modeling参考文献 67被引用 4

一句话总结

该论文提出了AraT5，一套基于多样化阿拉伯语文本语料库预训练的阿拉伯语专用文本到文本T5模型，在阿拉伯语理解任务中表现优于mT5和MARBERT，并在新提出的阿拉伯语生成基准（ARGEN）上取得了新的最先进结果，证明了统一的文本到文本迁移学习在低资源、高方言性语言（如阿拉伯语）中的有效性。

ABSTRACT

Transfer learning with a unified Transformer framework (T5) that converts all language problems into a text-to-text format has recently been proposed as a simple, yet effective, transfer learning approach. Although a multilingual version of the T5 model (mT5) has been introduced, it is not clear how well it can fare on non-English tasks involving diverse data. To investigate this question, we apply mT5 on a language with a wide variety of dialects--Arabic. For evaluation, we use an existing benchmark for Arabic language understanding and introduce a new benchmark for Arabic language generation (ARGEN). We also pre-train three powerful Arabic-specific text-to-text Transformer based models and evaluate them on the two benchmarks. Our new models perform significantly better than mT5 and exceed MARBERT, the current state-of-the-art Arabic BERT-based model, on Arabic language understanding. The models also set new SOTA on the generation benchmark. Our new models and are publicly released at this https URL and ARLGE will be released through the same repository.

研究动机与目标

• 评估多语言T5（mT5）在阿拉伯语上的表现，阿拉伯语是一种高变体、低资源语言，包含多种方言。
• 通过开发专门针对阿拉伯语的文本到文本Transformer模型，弥补阿拉伯语专用预训练模型的空白。
• 建立一个新的阿拉伯语文本生成基准（ARGEN），以评估生成能力。
• 通过在多样化阿拉伯语文本语料库上预训练专用模型，提升阿拉伯语理解与生成能力。
• 公开发布AraT5模型和ARGEN基准，供社区使用及进一步研究。

提出的方法

• 在阿拉伯语理解与生成任务上微调mT5模型，以建立基线性能。
• 在大规模、多样化的阿拉伯语文本数据上，预训练三个新的阿拉伯语专用T5模型（AraT5），涵盖现代标准阿拉伯语及多种方言。
• 将所有自然语言处理任务统一转换为文本到文本格式，实现在不同任务间一致的输入输出表示。
• 使用单语阿拉伯语文本、多语言数据以及经过筛选的方言语料库，提升模型鲁棒性。
• 采用标准T5框架中的去噪自编码目标，在掩码输入片段上进行模型训练。
• 在新提出的阿拉伯语生成基准（ARGEN）和现有的阿拉伯语理解基准上评估模型性能。

实验结果

研究问题

• RQ1 尽管mT5具有多语言设计，其在阿拉伯语理解与生成任务上的表现如何？
• RQ2 阿拉伯语专用T5模型是否能显著优于mT5以及现有的基于BERT的模型（如MARBERT）在阿拉伯语自然语言理解任务上的表现？
• RQ3 AraT5模型在不同阿拉伯语方言和语言任务上的泛化能力如何？
• RQ4 与现有方法相比，文本到文本框架在阿拉伯语生成任务中的有效性如何？
• RQ5 新提出的基准（ARGEN）是否能有效评估阿拉伯语文本生成能力？

主要发现

• AraT5模型在阿拉伯语理解任务上显著优于mT5，证明了领域专用预训练的优势。
• AraT5模型在阿拉伯语理解基准测试中超越了当前最先进基于BERT的阿拉伯语模型MARBERT。
• AraT5模型在新引入的阿拉伯语生成基准（ARGEN）上取得了新的最先进性能。
• 性能提升主要归因于阿拉伯语专用预训练与统一的文本到文本框架的结合。
• 作者成功通过公共代码仓库发布了AraT5模型和ARGEN基准，供社区访问与复现。