[论文解读] AraGPT2: Pre-Trained Transformer for Arabic Language Generation

Wissam Antoun, Fady Baly+1 more|arXiv (Cornell University)|Dec 31, 2020

Topic Modeling参考文献 35被引用 15

一句话总结

AraGPT2 是首个大规模、从零开始预训练的阿拉伯语生成 GPT-2 风格变换器模型，基于 14.6 亿参数架构，使用大规模互联网和新闻文本语料库进行训练。其生成的文本质量接近人类水平，在保留的维基百科文章上困惑度为 29.8，且在文本生成评估中人类误判率为 60%；同时，配套的 AraELECTRA 基础判别器在检测模型生成内容方面达到 98.7% 的 F1 分数。

ABSTRACT

Recently, pre-trained transformer-based architectures have proven to be very efficient at language modeling and understanding, given that they are trained on a large enough corpus. Applications in language generation for Arabic are still lagging in comparison to other NLP advances primarily due to the lack of advanced Arabic language generation models. In this paper, we develop the first advanced Arabic language generation model, AraGPT2, trained from scratch on a large Arabic corpus of internet text and news articles. Our largest model, AraGPT2-mega, has 1.46 billion parameters, which makes it the largest Arabic language model available. The Mega model was evaluated and showed success on different tasks including synthetic news generation, and zero-shot question answering. For text generation, our best model achieves a perplexity of 29.8 on held-out Wikipedia articles. A study conducted with human evaluators showed the significant success of AraGPT2-mega in generating news articles that are difficult to distinguish from articles written by humans. We thus develop and release an automatic discriminator model with a 98% percent accuracy in detecting model-generated text. The models are also publicly available, hoping to encourage new research directions and applications for Arabic NLP.

研究动机与目标

• 开发首个基于 GPT-2 变压器架构的先进阿拉伯语语言生成模型，从零开始在大规模阿拉伯语语料库上进行训练。
• 解决当前阿拉伯语缺乏先进语言生成模型的问题，因为此前的研究主要聚焦于理解任务的掩码语言建模。
• 通过零样本生成和问答任务评估模型性能，并通过人工评估文本连贯性和真实性。
• 公开发布 AraGPT2 的多种变体（基础、中型、大型、超大型）以及专用判别器模型，以支持未来阿拉伯语自然语言处理研究。
• 通过训练并发布高精度判别器模型，实现对机器生成阿拉伯语文本的检测，以应对潜在滥用风险。

提出的方法

• 在过滤后的、大规模的阿拉伯语语料库（包括互联网文本和新闻文章）上，使用因果语言建模（CLM）对 AraGPT2 进行预训练。
• 训练四种模型变体——基础版（1.35 亿参数）、中型版（3.7 亿参数）、大型版（7.92 亿参数）和超大型版（14.6 亿参数），以满足多样化应用需求。
• 使用保留的维基百科文章上的困惑度作为自动指标，评估模型性能。
• 通过 12 名参与者对 12 篇文章（4 篇真实文章、4 篇 AraGPT2-超大型版生成文章、4 篇人工撰写文章）进行分类，评估其在短文本和长文本格式下的真实感。
• 在包含 1,500 篇人工撰写和 1,500 篇 AraGPT2 生成的新闻文章的平衡数据集上，对 AraELECTRA 模型进行微调，以构建高精度判别器。
• 利用判别器检测人类与模型生成文本在统计可预测性上的差异，因为模型输出比人类文本更具可预测性。

实验结果

研究问题

• RQ1 当在大规模阿拉伯语语料库上从零开始预训练时，大规模 GPT-2 风格变换器模型能否实现高质量、连贯且语法正确的阿拉伯语文本生成？
• RQ2 AraGPT2-超大型版在人工评估中，其生成的文本在多大程度上与人工撰写的阿拉伯语新闻文章难以区分？
• RQ3 微调后的 AraELECTRA 模型在检测 AraGPT2-超大型版生成的文本方面效果如何？文本长度是否影响检测性能？
• RQ4 AraGPT2 在保留的维基百科文章上的困惑度是多少？其在零样本生成任务中与其他语言模型相比表现如何？
• RQ5 基于 AraGPT2 输出训练的判别器模型能否在区分合成文本与人工生成阿拉伯语文本方面实现高准确率？

主要发现

• AraGPT2-超大型版在保留的维基百科文章上的困惑度为 29.8，表明其语言建模性能出色。
• 在人工评估中，60% 的参与者错误地将 AraGPT2-超大型版生成的新闻文章识别为人工撰写，证明其生成文本具有高度真实性。
• 人工撰写的文章有 50% 的误判率，表明即使人工撰写的文本也难以与合成文本区分开来。
• 微调后的 AraELECTRA 判别器在短文本输入（150 个词元）上对 AraGPT2-超大型版生成文本的检测 F1 分数达到 98.7%，在长文本输入（500 个词元）上为 94.9%。
• 判别器的高准确率归因于模型生成文本比人类文本更具可预测性，而该模型能有效利用这一特性。
• AraGPT2 变体及判别器模型的发布，为阿拉伯语自然语言处理领域开启了新的研究方向，包括对话系统和合成文本检测。