[论文解读] Sleeper Social Bots: a new generation of AI disinformation bots are already a political threat

J. A. Doshi, Ines Novacic+8 more|arXiv (Cornell University)|Aug 7, 2024

Advanced Malware Detection Techniques被引用 4

一句话总结

本文介紹了「潛伏社交機器人」——一種由人工智慧驅動的社交媒體機器人，旨在模擬人類行為並散播政治虛假資訊。研究團隊在私人 Mastodon 伺服器上部署了具備 GPT 功能的機器人，賦予其獨特個性，與人類參與者就一項虛構的選舉議題展開討論，結果顯示這些機器人能令人信服地偽裝成人類，動態調整論點，成功散播虛假資訊，且參與者未能識別出它們。

ABSTRACT

This paper presents a study on the growing threat of "sleeper social bots," AI-driven social bots in the political landscape, created to spread disinformation and manipulate public opinion. We based the name sleeper social bots on their ability to pass as humans on social platforms, where they're embedded like political "sleeper" agents, making them harder to detect and more disruptive. To illustrate the threat these bots pose, our research team at the University of Southern California constructed a demonstration using a private Mastodon server, where ChatGPT-driven bots, programmed with distinct personalities and political viewpoints, engaged in discussions with human participants about a fictional electoral proposition. Our preliminary findings suggest these bots can convincingly pass as human users, actively participate in conversations, and effectively disseminate disinformation. Moreover, they can adapt their arguments based on the responses of human interlocutors, showcasing their dynamic and persuasive capabilities. College students participating in initial experiments failed to identify our bots, underscoring the urgent need for increased awareness and education about the dangers of AI-driven disinformation, and in particular, disinformation spread by bots. The implications of our research point to the significant challenges posed by social bots in the upcoming 2024 U.S. presidential election and beyond.

研究动机与目标

• 探討人工智慧驅動的社交機器人在社交媒體平台上隱蔽運作的可行性與影響。
• 評估這些機器人模擬人類行為並操縱政治言論的有效性。
• 評估人類使用者在即時互動中識別人工智慧生成的社交媒體內容的能力。
• 強調提高公眾意識與教育倡議的緊迫性，以應對人工智慧驅動的虛假資訊威脅。
• 展示此類機器人實際破壞民主言論的潛力，特別是在 2024 年美國總統大選前夕。

提出的方法

• 研究人員在私人 Mastodon 伺服器上部署了具備 GPT 功能的機器人，以模擬真實的社交媒體互動。
• 每名機器人被賦予獨特的個性與政治立場，以增強真實感與參與度。
• 機器人參與了由主持人監督的討論，與人類參與者就一項虛構的選舉議題進行交流。
• 機器人根據人類對話者的回應，動態調整其論點，並使用自然語言生成技術。
• 人類參與者從大學學生群體中招募，以在受控的實驗環境中與機器人互動。
• 根據參與者的回應與識別準確率，分析機器人行為與檢測率。

实验结果

研究问题

• RQ1 人工智慧驅動的社交機器人在社交媒體的政治討論中，能在多大程度上令人信服地模擬人類使用者？
• RQ2 這些機器人根據人類回應即時調整論點的效率如何？
• RQ3 人類參與者未能識別出人工智慧生成的社交媒體內容的比率是多少？
• RQ4 個性與政治立場如何影響這些機器人的說服力與可檢測性？
• RQ5 此類機器人對民主言論有何影響，特別是在即將到來的選舉背景下？

主要发现

• 人工智慧驅動的機器人成功在社交媒體互動中偽裝成人類使用者，大學學生未能識別出它們非人類。
• 機器人根據對話者反應展現出動態論點調整能力，增強了其說服力與真實感。
• 機器人在即時討論中有效散播了關於虛構選舉議題的虛假資訊，且未引起懷疑。
• 研究確認，潛伏社交機器人因其隱蔽性與適應性，對政治言論構成可信且即時的威脅。
• 研究結果強調迫切需要改進檢測機制與提升公眾對人工智慧驅動虛假資訊的教育認識。
• 研究揭示社交媒體平台即使在受控的小規模實驗中，也容易受到隱蔽人工智慧操縱的影響。