[论文解读] Combat AI With AI: Counteract Machine-Generated Fake Restaurant Reviews on Social Media

Alessandro Gambetti, Qiwei Han|arXiv (Cornell University)|Feb 10, 2023

Spam and Phishing Detection被引用 6

一句话总结

本文提出一种基于GPT的检测系统，该系统在从经验证的顶级Yelp真实评论中合成的AI生成虚假餐厅评论上进行训练，以在识别机器生成的虚假内容方面超越现有方法。该模型通过利用高质量的训练数据实现卓越性能，并揭示出虚假评论更具正面情绪、更易理解、由信誉较低的用户发布，且与较低的客流量相关——为社交媒体平台上AI生成欺骗行为的特征与结构模式提供了新见解。

ABSTRACT

Recent advances in generative models such as GPT may be used to fabricate indistinguishable fake customer reviews at a much lower cost, thus posing challenges for social media platforms to detect these machine-generated fake reviews. We propose to leverage the high-quality elite restaurant reviews verified by Yelp to generate fake reviews from the OpenAI GPT review creator and ultimately fine-tune a GPT output detector to predict fake reviews that significantly outperform existing solutions. We further apply the model to predict non-elite reviews and identify the patterns across several dimensions, such as review, user and restaurant characteristics, and writing style. We show that social media platforms are continuously challenged by machine-generated fake reviews, although they may implement detection systems to filter out suspicious reviews.

研究动机与目标

• 为应对社交媒体平台上日益严重的AI生成虚假评论问题，此类问题正损害用户信任并扭曲消费者决策。
• 开发一种鲁棒的、经过微调的基于GPT的检测器，能够以高于现有解决方案的准确率区分机器生成的虚假评论与真实评论。
• 分析虚假评论在评论、用户、餐厅及写作风格维度上的结构、风格与行为特征。
• 探究虚假评论与现实客流量之间的相关性，这是虚假评论研究中的一个全新维度。
• 为平台和政策制定者提供可操作的见解，以检测和缓解由AI驱动的评论欺诈行为。

提出的方法

• 使用OpenAI的GPT评论生成器，基于经验证的顶级Yelp真实评论，生成合成的虚假评论数据集，并对GPT-3模型进行微调。
• 将微调后的GPT模型用作分类器，以实现高精度和高召回率的虚假评论检测。
• 应用方差分析（ANOVA）比较虚假评论与真实评论在评论特征（如情感、长度、可读性）、用户声誉、餐厅评分及客流量等方面的差异。
• 利用SafeGraph移动数据，将虚假评论的普遍性与实际顾客到访率进行关联分析。
• 通过统计建模评估写作风格（如可读性和情感极性）对虚假评论检测效果及感知有用性的影响。
• 使用未经过滤的评论数据集评估模型性能，以避免因平台移除内容而产生的偏差。

实验结果

研究问题

• RQ1 在情感、可读性和评论长度方面，AI生成的虚假评论与真实的人工撰写评论有何不同？
• RQ2 发布虚假评论的用户具有哪些显著特征，特别是其声誉和活跃度方面？
• RQ3 虚假评论与现实世界中的顾客流量之间存在何种关联，该关联通过客流量移动数据进行衡量？
• RQ4 微调后的GPT模型是否能够超越现有检测系统，有效识别AI生成的虚假评论？
• RQ5 虚假评论在感知有用性及情感极性方面，相较于真实评论，其程度有多高？

主要发现

• AI生成的虚假评论的平均评分显著更高（+0.43，p < .001），表明存在系统性地过度乐观的偏见。
• 虚假评论的情感极性更积极，情感得分为+0.24（p < .001），表明其刻意使用夸张、极化的语言以误导读者。
• 虚假评论的可读性指标显示其比真实评论更易理解，这可能增强其感知有用性与读者参与度。
• 发布虚假评论的用户在Yelp平台上的声誉普遍较低，表明其为非核心用户，可能更容易被平台的审核系统识别。
• 拥有更高比例虚假评论的餐厅，其实际顾客到访量更少，该发现通过SafeGraph移动数据得到证实，揭示了合成内容与现实需求之间的一种全新关联。
• 微调后的GPT模型优于现有检测方案，证明了使用高质量、经验证的顶级用户评论作为训练信号在虚假评论检测中的有效性。