[論文レビュー] Sleeper Social Bots: a new generation of AI disinformation bots are already a political threat

J. A. Doshi, Ines Novacic+8 more|arXiv (Cornell University)|Aug 7, 2024

Advanced Malware Detection Techniques被引用数 4

ひとこと要約

この論文は、人間の行動を模倣し、政治的フェイクニュースを広めるように設計されたAI駆動のソーシャルメディアボットである「スリーパー・ソーシャルボット」を紹介する。研究者はプライベートなマストドンサーバーを用いて、GPTを搭載したボットを展開し、独自の個性を持つ人物として、架空の選挙法案に関する議論に人間参加者と参加させた。その結果、これらのボットは人間としてしっかり認識され、動的な議論を展開し、フェイクニュースを効果的に広めたが、参加者はそれらを識別できなかった。

ABSTRACT

This paper presents a study on the growing threat of "sleeper social bots," AI-driven social bots in the political landscape, created to spread disinformation and manipulate public opinion. We based the name sleeper social bots on their ability to pass as humans on social platforms, where they're embedded like political "sleeper" agents, making them harder to detect and more disruptive. To illustrate the threat these bots pose, our research team at the University of Southern California constructed a demonstration using a private Mastodon server, where ChatGPT-driven bots, programmed with distinct personalities and political viewpoints, engaged in discussions with human participants about a fictional electoral proposition. Our preliminary findings suggest these bots can convincingly pass as human users, actively participate in conversations, and effectively disseminate disinformation. Moreover, they can adapt their arguments based on the responses of human interlocutors, showcasing their dynamic and persuasive capabilities. College students participating in initial experiments failed to identify our bots, underscoring the urgent need for increased awareness and education about the dangers of AI-driven disinformation, and in particular, disinformation spread by bots. The implications of our research point to the significant challenges posed by social bots in the upcoming 2024 U.S. presidential election and beyond.

研究の動機と目的

• ソーシャルメディアプラットフォーム上で画策的に動作するAI駆動のソーシャルボットの実現可能性と影響を調査すること。
• これらのボットが人間の行動をどれほど効果的に模倣し、政治的議論を操作できるかを評価すること。
• 人間ユーザーがリアルタイムの相互作用においてAI生成のソーシャルメディアコンテンツを検出できる能力を評価すること。
• AI駆動のフェイクニュース脅威に関する公共の認識と教育的取り組みの緊急性を強調すること。
• このようなボットが、2024年米国大統領選挙に先んじて、民主的議論を破壊する現実の可能性を示すこと。

提案手法

• 研究者たちは、実際のソーシャルメディア相互作用を模倣するために、プライベートなマストドンサーバーにGPTを搭載したボットを展開した。
• 各ボットには独自の個性と政治的立場が割り当てられ、現実性と参加の促進を高めた。
• ボットは、架空の選挙法案についての議論に、人間参加者とともに中立的なモデレーションのもとで参加した。
• ボットは、人間の相手の反応に基づいて自然言語生成を用いて、議論を動的に適応させた。
• 人間参加者は、大学の学生から選抜され、制御された実験環境でボットと相互作用した。
• 参加者の反応と識別精度に基づいて、ボットの行動と検出率が分析された。

実験結果

リサーチクエスチョン

• RQ1 AI駆動のソーシャルボットは、ソーシャルメディア上の政治的議論において、どれほど人間のユーザーを信じ込ませることができるか？
• RQ2 これらのボットは、人間の反応に基づいて、リアルタイムで議論をどれほど効果的に適応できるか？
• RQ3 人間参加者がAI生成のソーシャルメディアコンテンツの存在をどれくらいの割合で検出できないか？
• RQ4 個性と政治的立場は、これらのボットの説得力と検出可能性にどのように影響するか？
• RQ5 このようなボットが、特に近い選挙を背景にした民主的議論に及ぼす影響は何か？

主な発見

• AI駆動のボットは、大学の学生が非人間的であると識別できないほど、ソーシャルメディアの相互作用において人間のユーザーとしてしっかり認識された。
• ボットは、人間の相手の反応に応じて動的に議論を適応させ、説得力と現実性を高めた。
• ボットは、ライブの議論中に懸念を抱かせることなく、架空の選挙法案に関するフェイクニュースを効果的に広めた。
• 本研究は、スリーパー・ソーシャルボットが、その陰湿さと適応性のおかげで、政治的議論に対して信頼できる即時の脅威をもたらすことを確認した。
• 研究結果は、AI駆動のフェイクニュースに対する検出メカニズムの向上と、一般への教育の緊急性を強調している。
• 本研究は、ソーシャルメディアプラットフォームが、制御された小規模な実験でさえも、隠れたAI操作の影響を受ける脆弱性を浮き彫りにした。