[论文解读] Implementing BERT and fine-tuned RobertA to detect AI generated news by ChatGPT

Zecong Wang, J. Cheng+2 more|arXiv (Cornell University)|Jun 9, 2023

Misinformation and Its Impacts被引用 7

一句话总结

本研究提出了一种微调后的 RoBERTa 模型，结合 BERT 以检测由 ChatGPT 生成的 AI 生成新闻内容。基于合成新闻与真实新闻的数据集，该方法实现了 98% 的准确率，表明微调后的 RoBERTa 在识别社交媒体平台上 AI 生成的虚假信息方面显著优于标准 BERT。

ABSTRACT

The abundance of information on social media has increased the necessity of accurate real-time rumour detection. Manual techniques of identifying and verifying fake news generated by AI tools are impracticable and time-consuming given the enormous volume of information generated every day. This has sparked an increase in interest in creating automated systems to find fake news on the Internet. The studies in this research demonstrate that the BERT and RobertA models with fine-tuning had the best success in detecting AI generated news. With a score of 98%, tweaked RobertA in particular showed excellent precision. In conclusion, this study has shown that neural networks can be used to identify bogus news AI generation news created by ChatGPT. The RobertA and BERT models' excellent performance indicates that these models can play a critical role in the fight against misinformation.

研究动机与目标

• 为应对社交媒体平台上日益增长的 AI 生成虚假信息挑战。
• 开发一种自动化、可扩展的解决方案，用于检测大型语言模型（如 ChatGPT）生成的虚假新闻。
• 评估 BERT 与 RoBERTa 模型在区分 AI 生成与人工撰写新闻内容方面的性能。
• 确定微调 RoBERTa 是否能提升检测准确率，优于标准 BERT。
• 为实时检测 AI 生成新闻提供一种实用且高准确率的自然语言处理流水线。

提出的方法

• 在精心筛选的 AI 生成与人工撰写新闻文章数据集上微调 RoBERTa 模型。
• 在相同数据集上训练并评估 BERT 模型，以进行性能对比分析。
• 使用带有注意力机制的序列分类方法，将新闻分类为 AI 生成或真实内容。
• 采用迁移学习技术，将预训练语言模型适配到虚假新闻检测的特定任务上。
• 应用分词处理并调整微调超参数，以优化模型的泛化能力与性能。
• 使用标准 NLP 指标（如准确率、精确率和 F1 分数）验证结果。

实验结果

研究问题

• RQ1 微调后的 RoBERTa 与 BERT 模型能否有效区分 AI 生成与人工撰写的新闻文章？
• RQ2 与标准 BERT 相比，微调 RoBERTa 对检测准确率有何影响？
• RQ3 这些模型在识别由 ChatGPT 生成的合成内容方面的表现如何？
• RQ4 使用预训练语言模型进行迁移学习，能否在大规模场景下实现高准确率的 AI 生成虚假信息检测？
• RQ5 在实时检测 AI 生成新闻时，能够达到怎样的精确率与召回率水平？

主要发现

• 微调后的 RoBERTa 模型实现了 98% 的检测准确率，显著优于标准 BERT。
• 微调 RoBERTa 显著提升了对 ChatGPT 生成内容的精确率与鲁棒性。
• BERT 与 RoBERTa 均表现出色，但 RoBERTa 的架构在此任务中展现出明显优势。
• 结果证实，预训练的 Transformer 模型可被有效适配，用于大规模检测 AI 生成的新闻。
• 本研究确立了微调后的 RoBERTa 是实时检测合成新闻内容的高效解决方案。
• 高准确率表明，此类模型可在数字平台上遏制虚假信息传播中发挥关键作用。