[论文解读] AI model GPT-3 (dis)informs us better than humans

Giovanni Spitale, Nikola Biller‐Andorno+1 more|Zurich Open Repository and Archive (University of Zurich)|Jan 23, 2023

Misinformation and Its Impacts参考文献 15被引用 10

一句话总结

这项研究表明 GPT-3 能生成准确、易于理解的信息，但也可能制造更具说服力的错误信息，人们往往无法分辨 GPT-3 的推文与人类推文。

ABSTRACT

Artificial intelligence is changing the way we create and evaluate information, and this is happening during an infodemic, which has been having dramatic effects on global health. In this paper we evaluate whether recruited individuals can distinguish disinformation from accurate information, structured in the form of tweets, and determine whether a tweet is organic or synthetic, i.e., whether it has been written by a Twitter user or by the AI model GPT-3. Our results show that GPT-3 is a double-edge sword, which, in comparison with humans, can produce accurate information that is easier to understand, but can also produce more compelling disinformation. We also show that humans cannot distinguish tweets generated by GPT-3 from tweets written by human users. Starting from our results, we reflect on the dangers of AI for disinformation, and on how we can improve information campaigns to benefit global health.

研究动机与目标

• 评估招募的个体是否能够在推文形式中区分错误信息与准确信息。
• 评估推文是有机的（由人类撰写）还是合成的（由 GPT-3 撰写）。
• 探讨 GPT-3 在生成准确且易于理解的信息方面与人类的比较。
• 讨论 AI 驱动的错误信息的影响及改进健康信息传播活动的策略。

提出的方法

• 向参与者呈现以错误信息和准确信息结构化的推文。
• 比较 GPT-3 与人类所生成信息的准确性和可理解性。
• 要求参与者将推文分类为有机（人类撰写）或合成（GPT-3 撰写）。
• 分析参与者区分 GPT-3 内容与人类内容的能力。
• 利用作者引用的数据集和软件资源。

实验结果

研究问题

• RQ1 参与者是否能够在推文形式中可靠地区分错误信息与准确信息？
• RQ2 参与者是否能够区分由 GPT-3 撰写的推文与由人类撰写的推文（有机 vs 合成）？
• RQ3 GPT-3 的信息质量和可理解性与人类生成的内容相比如何？
• RQ4 AI 生成的内容对健康信息传播活动有哪些影响？

主要发现

• GPT-3 能生成比某些人类生成的内容更易理解的准确信息。
• GPT-3 也能生成比人类更具说服力的错误信息。
• 人们很难区分由 GPT-3 生成的推文与由人类用户撰写的推文。
• 结果引发了对 AI 驱动的错误信息的担忧，并强调需要改进全球健康信息传播活动。
• 本文讨论了 AI 在错误信息方面的危害及缓解策略的潜在方法。