[论文解读] Comparing Abstractive Summaries Generated by ChatGPT to Real Summaries Through Blinded Reviewers and Text Classification Algorithms

Mayank Soni, Vincent Wade|arXiv (Cornell University)|Mar 30, 2023

Topic Modeling被引用 9

一句话总结

论文评估 ChatGPT 生成的抽象摘要与真实摘要之间的差异，采用自动化指标、盲评人类评估和文本分类器，结果显示人类难以区分两者，而分类器能以高准确度区分。

ABSTRACT

Large Language Models (LLMs) have gathered significant attention due to their impressive performance on a variety of tasks. ChatGPT, developed by OpenAI, is a recent addition to the family of language models and is being called a disruptive technology by a few, owing to its human-like text-generation capabilities. Although, many anecdotal examples across the internet have evaluated ChatGPT's strength and weakness, only a few systematic research studies exist. To contribute to the body of literature of systematic research on ChatGPT, we evaluate the performance of ChatGPT on Abstractive Summarization by the means of automated metrics and blinded human reviewers. We also build automatic text classifiers to detect ChatGPT generated summaries. We found that while text classification algorithms can distinguish between real and generated summaries, humans are unable to distinguish between real summaries and those produced by ChatGPT.

研究动机与目标

• 使用自动化指标（ROUGE、METEOR）评估 ChatGPT 的抽象摘要与真实摘要的差异。
• 评估 blinded 人类评审是否能区分 ChatGPT 生成的与真实摘要。
• 开发并评估文本分类器以检测是否为 ChatGPT 生成的摘要。

提出的方法

• 为 Nallapati 等人（2016）提供的 50 个 CNN/Daily News 摘要创建数据集。
• 对同一组 50 篇文章用精心设计的提示请求 ChatGPT 生成抽象摘要。
• 计算真实摘要与生成摘要之间的自动化指标（ROUGE-1/2/L、ROUGE-LSUM、METEOR）。
• 对 50 对摘要进行盲评的人类评估，邀请两位以英语为母语的评审。
• 对 DistillBERT 进行微调以检测 ChatGPT 生成的摘要 vs. 人类摘要，并与句子嵌入 + XGBoost 进行比较。

Figure 1: User Interface of Summaries Shown to Human Reviewers

实验结果

研究问题

• RQ1 ChatGPT 能否生成在人类看来与真实摘要难以区分的抽象摘要？
• RQ2 自动化指标是否能量化真实摘要与 ChatGPT 生成摘要之间的差异？
• RQ3 一个分类器是否能可靠地区分 ChatGPT 生成的和人类撰写的摘要？

主要发现

• 自动化指标显示真实摘要与 ChatGPT 生成摘要之间存在可测量的差异（ROUGE-1: 0.30，ROUGE-2: 0.11，ROUGE-L: 0.20，ROUGELSUM: 0.21，METEOR: 0.35）。
• 盲评人类评审对生成摘要与真实摘要的区分准确率约为 0.49。
• 微调后的 DistillBERT 能以 90% 的准确率（F1 0.33）检测 ChatGPT 生成的摘要 vs. 真实摘要。
• 使用句子嵌入 + XGBoost 达到 50% 的准确率（基线）。
• 本研究表明当提示设计得当时，人类会将 ChatGPT 摘要视为与真实摘要相当。