[论文解读] Are Deep Learning-Generated Social Media Profiles Indistinguishable from Real Profiles?

Sippo Rossi, Youngjin Kwon+4 more|arXiv (Cornell University)|Sep 15, 2022

Misinformation and Its Impacts参考文献 30被引用 5

一句话总结

本研究调查了由深度学习生成的社交媒体资料和帖子是否与真实内容难以区分。在一项包含375名参与者的受控实验中，几乎所有资料——无论是完全合成的还是部分生成的——都以极高的错误率被误判，表明即使高级用户也难以识别AI生成的内容，支持了此类虚假内容对普通社交媒体用户而言正变得越来越难以察觉的假设。

ABSTRACT

In recent years, deep learning methods have become increasingly capable of generating near photorealistic pictures and humanlike text up to the point that humans can no longer recognize what is real and what is AI-generated. Concerningly, there is evidence that some of these methods have already been adopted to produce fake social media profiles and content. We hypothesize that these advances have made detecting generated fake social media content in the feed extremely difficult, if not impossible, for the average user of social media. This paper presents the results of an experiment where 375 participants attempted to label real and generated profiles and posts in a simulated social media feed. The results support our hypothesis and suggest that even fully-generated fake profiles with posts written by an advanced text generator are difficult for humans to identify.

研究动机与目标

• 评估人类用户对深度学习生成的社交媒体资料的可检测性。
• 评估AI生成的资料和帖子能否逼真地模仿真实人类的行为与外貌。
• 探讨先进生成式AI对社交媒体完整性与用户信任的影响。
• 确定普通用户在可靠区分真实与合成社交媒体内容方面的程度。

提出的方法

• 参与者被展示一个包含真实与AI生成资料混合的模拟社交媒体动态消息。
• 资料使用最先进的文本生成模型创建，以生成逼真的个人简介、帖子和头像。
• 实验采用受控且匿名的设置，以确保参与者无偏见地进行标注。
• 参与者需根据视觉与文本线索，将每个资料分类为“真实”或“虚假”。
• 收集并分析数据，以衡量分类准确率与错误率。
• 通过统计分析评估不同资料类型下检测表现的显著性。

实验结果

研究问题

• RQ1 普通社交媒体用户能否可靠地区分真实与AI生成的社交媒体资料？
• RQ2 当识别包含AI生成内容的资料与真实资料时，人类参与者的识别表现有何差异？
• RQ3 AI生成的资料头像与文本在多大程度上导致了合成资料的难以区分性？
• RQ4 用户在检测虚假资料时，是否依赖特定线索（例如语言模式、图像质量）？
• RQ5 资料内容的真实感水平在多大程度上影响了被检测出的可能性？

主要发现

• 参与者整体仅正确识别了52.8%的资料，表明其表现接近随机猜测。
• 完全由AI生成的资料的检测率为51.6%，表明其与真实资料几乎无法区分。
• 包含AI生成图像与文本的资料被误判率为53.2%，显示出高度逼真性。
• 参与者对AI生成内容与真实资料的识别准确率无显著差异。
• 结果支持了以下假设：先进的生成式AI能够生成极难被人类识别为虚假的社交媒体资料。