[论文解读] Stylometric Detection of AI-Generated Text in Twitter Timelines

Tharindu Kumarage, Joshua Garland+4 more|arXiv (Cornell University)|Mar 7, 2023

Authorship Attribution and Profiling被引用 23

一句话总结

本文提出将风格计量特征作为辅助信号，以增强检测 AI 生成推文的检测器，并在 Twitter 时间线中检测何时 AI 开始在推文中生成内容，尤其在时间线较短、数据有限时表现提升。

ABSTRACT

Recent advancements in pre-trained language models have enabled convenient methods for generating human-like text at a large scale. Though these generation capabilities hold great potential for breakthrough applications, it can also be a tool for an adversary to generate misinformation. In particular, social media platforms like Twitter are highly susceptible to AI-generated misinformation. A potential threat scenario is when an adversary hijacks a credible user account and incorporates a natural language generator to generate misinformation. Such threats necessitate automated detectors for AI-generated tweets in a given user's Twitter timeline. However, tweets are inherently short, thus making it difficult for current state-of-the-art pre-trained language model-based detectors to accurately detect at what point the AI starts to generate tweets in a given Twitter timeline. In this paper, we present a novel algorithm using stylometric signals to aid detecting AI-generated tweets. We propose models corresponding to quantifying stylistic changes in human and AI tweets in two related tasks: Task 1 - discriminate between human and AI-generated tweets, and Task 2 - detect if and when an AI starts to generate tweets in a given Twitter timeline. Our extensive experiments demonstrate that the stylometric features are effective in augmenting the state-of-the-art AI-generated text detectors.

研究动机与目标

• 在同一用户的 Twitter 时间线中推动对 AI 生成推文的自动检测。
• 研究风格计量特征是否能增强对短文本的 SOTA 检测器。
• 开发方法以检测人类作者在时间线中何时/何地切换至 AI 生成的推文。

提出的方法

• 定义三类风格计量类别：短语表达（Phraseology）、标点（Punctuation）与语言多样性（Linguistic Diversity），包含 MTTR 与 Flesch 阅读易读性（Flesch Reading Ease）。
• 通过融合网络将风格计量信号与基于 RoBERTa 的嵌入进行融合，以检测 AI 生成的推文。
• 使用 StyloCPA 方法，对风格计量信号应用变点检测以实现人类向 AI 作者切换的本地化。
• 将时间线表示为序列并为每条时间线计算风格计量矩阵，然后应用基于 PELT 的变点检测进行本地化。
• 端到端训练，针对检测任务采用交叉熵损失，并依赖一个简单、低参数的变点方法进行本地化。

实验结果

研究问题

• RQ1 RQ1: 风格计量特征是否能在识别时间线中的 AI 生成推文时提升 SOTA 检测器的性能？
• RQ2 RQ2: 在有限训练数据下，风格计量信号在检测人类到 AI 作者切换发生的时间点和位置方面有多高的检测能力？

主要发现

• 风格计量融合显著提升对 AI 生成推文的检测准确性，相较于简单基线具有优势，在时间线较短时也能与一些强大的 PLM 基线相竞争甚至超过。
• RoBERTaRoBERTa_FT_Stylo 及其他融合变体在自有数据与 TweepFake 上都优于基线，在 N=1 或时间线较短时尤有显著提升。
• StyloCPA 在变点定位上具有强性能，尤其在小规模训练数据时，优于若干基于 PLM 的检测器和 PAN 风格基线。
• 在风格计量信号上的变点检测相较仅 PLM 方法，在不同评估窗口（W=0、1、2）均具有更高的定位准确性。
• 标点与短语表达等风格计量特征在 T1 与 T2 任务中信息性较强；语言学特征在较短的时间线中影响较小。