[论文解读] GPT-who: An Information Density-based Machine-Generated Text Detector

Saranya Venkatraman, Adaku Uchendu+1 more|arXiv (Cornell University)|Oct 9, 2023

Topic ModelingComputer Science被引用 3

一句话总结

GPT-who 是一种基于心理语言学启发、领域无关的统计检测器，利用基于统一信息密度（UID）的特征，在无需微调的情况下区分人类与多种大语言模型（LLM）生成的文本。它在跨不同领域和大语言模型的多类别作者归属任务中，性能优于最先进检测器超过20%，同时保持计算高效且可通过基于意外度的特征分析实现可解释性。

ABSTRACT

The Uniform Information Density (UID) principle posits that humans prefer to spread information evenly during language production. We examine if this UID principle can help capture differences between Large Language Models (LLMs)-generated and human-generated texts. We propose GPT-who, the first psycholinguistically-inspired domain-agnostic statistical detector. This detector employs UID-based features to model the unique statistical signature of each LLM and human author for accurate detection. We evaluate our method using 4 large-scale benchmark datasets and find that GPT-who outperforms state-of-the-art detectors (both statistical- & non-statistical) such as GLTR, GPTZero, DetectGPT, OpenAI detector, and ZeroGPT by over $20$% across domains. In addition to better performance, it is computationally inexpensive and utilizes an interpretable representation of text articles. We find that GPT-who can distinguish texts generated by very sophisticated LLMs, even when the overlying text is indiscernible. UID-based measures for all datasets and code are available at https://github.com/saranya-venkatraman/gpt-who.

研究动机与目标

• 开发一种鲁棒的、多类别、领域无关的检测器，用于在多种大语言模型和写作任务中识别机器生成文本的作者归属。
• 利用统一信息密度（UID）原理作为理论基础坚实、可解释的特征空间，检测人类与大语言模型生成语言之间细微的统计差异。
• 构建一种计算高效的检测器，避免昂贵的微调，同时在分布外和未见模型设置下保持高性能。
• 证明基于 UID 的特征能够可靠地区分不同大语言模型家族与人类作者，即使文本差异难以察觉。
• 通过揭示作者归属决策背后的意外度模式，为黑箱大语言模型检测器提供可解释的替代方案。

提出的方法

• 该方法使用现成的语言模型计算标记级别的意外度概率，以提取反映文本中信息密度分布的 UID 基础特征。
• 构建一组理论驱动、可解释的特征，源自标记概率的统计分布，捕捉信息在句子和短语中分布的均匀程度。
• 使用这些 UID 特征训练一个逻辑回归分类器，学习区分人类作者与多种大语言模型的阈值。
• 检测器在四个大规模基准数据集上进行训练和评估：TuringBench、GPABenchmark、ArguGPT 和 Deepfake Text in-the-wild。
• 该方法具有领域无关性和任务无关性，无需重新训练或微调，即可在不同写作风格、主题和大语言模型架构间实现泛化。
• 通过可视化和分析意外度模式，增强特征的可解释性，从而洞察模型的决策过程。

Figure 1: GPT-who leverages psycholinguistically motivated representations that capture authors’ information signatures distinctly, even when the corresponding text is indiscernible.

实验结果

研究问题

• RQ1 统一信息密度（UID）原理能否作为可靠统计特征，用于区分人类与大语言模型生成的文本？
• RQ2 基于 UID 的特征是否能在不进行模型微调的情况下，实现对多种大语言模型和领域的准确多类别作者归属？
• RQ3 人类生成文本与不同大语言模型的 UID 分布有何差异，特别是在信息分布和架构相似性方面？
• RQ4 在零样本和分布外设置下，基于 UID 的特征在多大程度上优于统计方法和深度学习方法的检测器？
• RQ5 当词汇和句法线索无法区分时，基于 UID 的特征是否仍能检测到文本生成中的细微差异？

主要发现

• 在所有基准数据集上，GPT-who 的 F1 分数均比最先进统计检测器（如 GLTR、GPTZero 和 ZeroGPT）高出 20% 以上，尤其在跨领域和跨模型检测中表现卓越。
• 在 Deepfake Text in-the-wild 数据集中，GPT-who 在最具挑战性的“未见模型与未见领域”设置下取得 0.85 的 F1 分数，优于 GLTR（0.74）和 DetectGPT（0.57）。
• 在 ArguGPT 数据集中，GPT-who 的 F1 分数达到 0.84，优于人类专家（0.51），并达到微调过的 RoBERTa 模型水平，尽管本身未进行微调。
• 在 GPABenchmark 数据集中，GPT-who 在检测来自 7 种高度先进大语言模型的文本时，准确率超过 GPTZero、ZeroGPT 和 OpenAI 检测器 40% 以上。
• 人类生成的文本在信息分布上更不均匀且更具多样性，而 UID 特征能反映架构相似性——同一家族的模型在 UID 空间中聚类紧密。
• 该方法保持计算高效且可解释，仅依赖预训练语言模型和逻辑回归，无需任何微调或复杂架构。

Figure 2: GPT-who uses token probabilities of articles to extract UID-based features. A classifier then learns to map UID features to different authors, and identify the author of a new unseen article.