[论文解读] ChatGPT or Human? Detect and Explain. Explaining Decisions of Machine Learning Model for Detecting Short ChatGPT-generated Text

Sandra Mitrović, Davide Andreoletti+1 more|arXiv (Cornell University)|Jan 30, 2023

Topic Modeling被引用 81

一句话总结

本论文训练基于 Transformer 的分类器以区分短文本的 ChatGPT 生成的评价和人类撰写的评价，并使用 SHAP 解释模型决策，结果表明在查询驱动生成的场景中，ML 优于基于困惑度的方法，尤其是在查询驱动生成时。

ABSTRACT

ChatGPT has the ability to generate grammatically flawless and seemingly-human replies to different types of questions from various domains. The number of its users and of its applications is growing at an unprecedented rate. Unfortunately, use and abuse come hand in hand. In this paper, we study whether a machine learning model can be effectively trained to accurately distinguish between original human and seemingly human (that is, ChatGPT-generated) text, especially when this text is short. Furthermore, we employ an explainable artificial intelligence framework to gain insight into the reasoning behind the model trained to differentiate between ChatGPT-generated and human-generated text. The goal is to analyze model's decisions and determine if any specific patterns or characteristics can be identified. Our study focuses on short online reviews, conducting two experiments comparing human-generated and ChatGPT-generated text. The first experiment involves ChatGPT text generated from custom queries, while the second experiment involves text generated by rephrasing original human-generated reviews. We fine-tune a Transformer-based model and use it to make predictions, which are then explained using SHAP. We compare our model with a perplexity score-based approach and find that disambiguation between human and ChatGPT-generated reviews is more challenging for the ML model when using rephrased text. However, our proposed approach still achieves an accuracy of 79%. Using explainability, we observe that ChatGPT's writing is polite, without specific details, using fancy and atypical vocabulary, impersonal, and typically it does not express feelings.

研究动机与目标

• 评估一个机器学习模型在餐厅评价中是否能够准确区分短文本的 ChatGPT 生成文本与人类文本。
• 评估一个基于困惑度的基线在短文本、由 AI 生成的检测中的有效性。
• 提供可解释的见解，了解模型在识别 ChatGPT 与人类写作模式时的决策。
• 探讨将人类评价改写后对检测与模型解释的影响。

提出的方法

• 在一组人类评价和 ChatGPT 生成的评价的数据集上微调一个基于 DistilBERT 的 Transformer 分类器。
• 将 ML 基于的分类与基于困惑度的方法进行比较，后者使用 GPT-2 计算困惑度分数并设定阈值进行标签化。
• 应用 SHAP 获取局部解释，识别驱动每个预测的特征（单词）。
• 使用两项实验：(1) 来自自定义查询的 ChatGPT 生成的评价 vs 人类评价，(2) 将人类评价改写后的 ChatGPT 生成评价。
• 分析错误分类以了解当文本是对人类内容改写时的局限性。

Figure 1: Schematic representation of the study design and building blocks.

实验结果

研究问题

• RQ1 RQ1: ML 基于方法与基于困惑度的方法在检测短评中的 AI 生成文本方面的效果如何，当 AI 文本是对人类文本的改写时，性能会有何变化？
• RQ2 RQ2: 驱动 ML 模型决策的文本特征是什么，SHAP 解释揭示了 ChatGPT 与人类写作风格的哪些方面？

主要发现

• 基于 ML 的分类器在实验 1 中达到 0.98 的准确率，在实验 2 中达到 0.79，优于基于困惑度的方法，其在两项实验中分别为 0.84 和 0.69。
• 仅使用困惑度分数在实验 1 中可以区分 ChatGPT 生成文本与人类文本，但在实验 2 中对改写自人类文本的检测不可靠。
• SHAP 解释显示 ChatGPT 文本通常更有礼貌、缺乏个人情感、使用不寻常的词汇，而人类文本则使用第一人称代词、表达情感并包含更具体的细节。
• 改写人类评价会降低检测的可靠性，凸显 AI 生成内容可能逃避简单检测方法的风险。
• 实验 2 中的错误分类表明局部线索（如代词“我的”、对特定条目的提及）仍然可能使 ChatGPT 生成的改写文本被判定为人类文本。