[论文解读] Detection of Fake Generated Scientific Abstracts

Panagiotis C. Theocharopoulos, Panagiotis Anagnostou+4 more|arXiv (Cornell University)|Apr 12, 2023

Artificial Intelligence in Healthcare and Education参考文献 22被引用 4

一句话总结

本研究评估了多种自然语言处理技术——特别是 Word2Vec、BERT 以及 LSTM 和逻辑回归等机器学习模型——在区分 GPT-3 生成的科学摘要与人工撰写的摘要方面的有效性。表现最佳的模型是结合 Word2Vec 的 LSTM 模型，其准确率极高，仅在 1,000 个测试样本中误分类了 103 个，表明通过上下文嵌入和序列建模方法可可靠检测由人工智能生成的科学摘要。

ABSTRACT

The widespread adoption of Large Language Models and publicly available ChatGPT has marked a significant turning point in the integration of Artificial Intelligence into people's everyday lives. The academic community has taken notice of these technological advancements and has expressed concerns regarding the difficulty of discriminating between what is real and what is artificially generated. Thus, researchers have been working on developing effective systems to identify machine-generated text. In this study, we utilize the GPT-3 model to generate scientific paper abstracts through Artificial Intelligence and explore various text representation methods when combined with Machine Learning models with the aim of identifying machine-written text. We analyze the models' performance and address several research questions that rise during the analysis of the results. By conducting this research, we shed light on the capabilities and limitations of Artificial Intelligence generated text.

研究动机与目标

• 探究使用多种自然语言处理与机器学习方法检测 GPT-3 生成的科学摘要的可行性。
• 评估不同文本表示技术（Word2Vec、BERT、TF-IDF）与机器学习分类器结合时的性能表现。
• 识别被误分类摘要的语言与结构特征，以理解检测模型的局限性。
• 探讨人工智能生成学术文本对学术诚信与学术剽窃问题的影响。

提出的方法

• 基于给定标题使用 GPT-3 语言模型生成科学摘要。
• 采用多种文本表示方法：TF-IDF、Word2Vec 和 BERT 嵌入。
• 在生成的摘要与人工撰写的摘要上训练并评估多种机器学习模型：逻辑回归、SVM、LSTM 和 BiLSTM。
• 使用 LSTM 进行序列建模以捕捉摘要中的长距离依赖关系，并利用 Word2Vec 嵌入实现上下文相关的词表示。
• 应用统计分析与词频比较，研究被误分类样本的特征。
• 进行定性分析，比较标题与摘要，以识别被误分类的人工智能生成文本与人工撰写文本中的模式。

Figure 1: Schematic overview of the study. Dataset Generation: From the CORD-19 data has been collected the titles and the abstracts of the academic literature. The titles of the selected work have been prompted to GPT-3 model, via its API for the AI-generated abstract based on its title (Left). Dat

实验结果

研究问题

• RQ1 输入标题的长度是否会影响模型正确分类人工智能生成摘要的能力？
• RQ2 在区分人工智能生成与人工撰写的科学摘要时，哪种文本表示方法（TF-IDF、Word2Vec、BERT）能实现最高的分类准确率？
• RQ3 哪些语言特征使得人工智能生成的摘要被误分类为人工撰写？
• RQ4 在被误分类的样本中，人工创作与人工智能生成摘要的词频分布有何差异？
• RQ5 在合成数据上训练的模型能否泛化以检测更新或更先进的人工智能生成文本？

主要发现

• 结合 Word2Vec 嵌入的 LSTM 模型实现了最高的分类准确率，仅在 1,000 个测试样本中误分类了 103 个。
• 词汇多样性更高且包含更多领域特定术语的人工智能生成摘要，更可能被误分类为人工撰写。
• 使用简单词汇且词汇丰富度较低的人工摘要，更常被误分类为人工智能生成。
• 词频分析显示，被误分类的人工智能生成摘要中包含更多不常见且领域特定的术语（例如 'influenza'、'treatment'），而非通用词汇。
• 被误分类的人工智能生成摘要的标题中，罕见且特定的术语显著多于平均水平，表明更丰富的输入提示可提升生成质量并规避检测。
• 本研究证实，当前大型语言模型生成的科学摘要仍可高准确率检测，但随着提示工程优化与词汇复杂度提升，检测难度也随之增加。

Figure 2: Most frequent word appearances in both the human-created texts (left) and the AI-generated texts (right).