[论文解读] BERT Transformer model for Detecting Arabic GPT2 Auto-Generated Tweets

Fouzi Harrag, Maria Dabbah+2 more|arXiv (Cornell University)|Jan 1, 2021

Topic Modeling参考文献 14被引用 7

一句话总结

本论文提出了一种微调后的 ARABERT 基础 Transformer 模型，用于检测由 GPT2-Small-Arabic 生成的阿拉伯语文本，该模型基于自定义的人工撰写与 GPT2 生成的阿拉伯语推文数据集进行迁移学习。模型实现了 98% 的准确率，是首个将 ARABERT 与 GPT2 结合用于分类阿拉伯语合成文本的研究，其性能优于基于 RNN 的基线模型（如 LSTM 和 GRU）。

ABSTRACT

During the last two decades, we have progressively turned to the Internet and social media to find news, entertain conversations and share opinion. Recently, OpenAI has developed a ma-chine learning system called GPT-2 for Generative Pre-trained Transformer-2, which can pro-duce deepfake texts. It can generate blocks of text based on brief writing prompts that look like they were written by humans, facilitating the spread false or auto-generated text. In line with this progress, and in order to counteract potential dangers, several methods have been pro-posed for detecting text written by these language models. In this paper, we propose a transfer learning based model that will be able to detect if an Arabic sentence is written by humans or automatically generated by bots. Our dataset is based on tweets from a previous work, which we have crawled and extended using the Twitter API. We used GPT2-Small-Arabic to generate fake Arabic Sentences. For evaluation, we compared different recurrent neural network (RNN) word embeddings based baseline models, namely: LSTM, BI-LSTM, GRU and BI-GRU, with a transformer-based model. Our new transfer-learning model has obtained an accuracy up to 98%. To the best of our knowledge, this work is the first study where ARABERT and GPT2 were combined to detect and classify the Arabic auto-generated texts.

研究动机与目标

• 为应对阿拉伯语社交媒体中日益增长的 AI 生成虚假信息威胁，开发一种可靠的检测系统。
• 构建一个高质量、扩展后的阿拉伯语推文数据集，包含人工撰写和 GPT2 生成的样本，用于模型训练与评估。
• 比较基于 RNN 的模型（LSTM、BI-LSTM、GRU、BI-GRU）与基于 Transformer 的模型在检测合成阿拉伯语文本方面的性能表现。
• 探究使用 ARABERT 进行迁移学习在区分人工撰写与机器生成的阿拉伯语句子方面的有效性。

提出的方法

• 作者使用 Twitter API 收集并扩展了一个阿拉伯语推文数据集，包含真实的人工撰写内容和由 GPT2-Small-Arabic 生成的文本。
• 在合并后的数据集上对 ARABERT base 模型（一种针对阿拉伯语优化的多语言 BERT 变体）进行微调，用于序列分类任务。
• 该模型利用 Transformer 编码器生成的上下文嵌入，将输入序列分类为人工撰写或 GPT2 生成。
• 通过标准 NLP 指标（包括准确率、精确率、召回率和 F1 分数）在保留的测试集上评估模型性能。
• 本研究将 ARABERT 的性能与基于 RNN 的基线模型（LSTM、BI-LSTM、GRU、BI-GRU）进行比较，后者使用 GloVe 和 FastText 等词嵌入进行训练。
• 通过超参数调优与交叉验证，优化 ARABERT 模型在阿拉伯语文本检测任务中的性能。

实验结果

研究问题

• RQ1 微调后的 ARABERT 模型能否有效区分人工撰写与 GPT2 生成的阿拉伯语推文？
• RQ2 基于 Transformer 的模型在检测合成阿拉伯语文本方面，与基于 RNN 的模型相比表现如何？
• RQ3 使用 ARABERT 进行迁移学习对检测 AI 生成的阿拉伯语文本准确率有何影响？
• RQ4 训练数据集的质量与规模在多大程度上影响模型的检测性能？

主要发现

• 基于 ARABERT 的模型在测试集上达到了 98% 的准确率，显著优于所有基于 RNN 的基线模型，如 LSTM、BI-LSTM、GRU 和 BI-GRU。
• 与循环模型相比，基于 Transformer 的方法在泛化能力和上下文理解方面表现更优，尤其在捕捉阿拉伯语文本中的长距离依赖关系方面优势明显。
• 本研究证实，将多语言 BERT 变体 ARABERT 在合成阿拉伯语文本上进行微调，可实现最先进的检测性能。
• 将 ARABERT 与 GPT2-Small-Arabic 结合用于检测任务是新颖的，标志着该组合在阿拉伯语 NLP 领域的首次文献集成。