[論文レビュー] Anatomy of an AI-powered malicious social botnet

Kai‐Cheng Yang, Filippo Menczer|arXiv (Cornell University)|Jul 30, 2023

Misinformation and Its Impacts参考文献 72被引用数 12

ひとこと要約

本研究は Fox8 と称される Twitter ボットネットが ChatGPT を用いて有害なコンテンツを生成することを記録し、その協調的な挙動を分析し、検出方法を評価する。現行の LLM コンテンツ検出器はこれらのボットと人間を区別するのに苦労していることを示している。

ABSTRACT

Large language models (LLMs) exhibit impressive capabilities in generating realistic text across diverse subjects. Concerns have been raised that they could be utilized to produce fake content with a deceptive intention, although evidence thus far remains anecdotal. This paper presents a case study about a Twitter botnet that appears to employ ChatGPT to generate human-like content. Through heuristics, we identify 1,140 accounts and validate them via manual annotation. These accounts form a dense cluster of fake personas that exhibit similar behaviors, including posting machine-generated content and stolen images, and engage with each other through replies and retweets. ChatGPT-generated content promotes suspicious websites and spreads harmful comments. While the accounts in the AI botnet can be detected through their coordination patterns, current state-of-the-art LLM content classifiers fail to discriminate between them and human accounts in the wild. These findings highlight the threats posed by AI-enabled social bots.

研究の動機と目的

• Twitter における実世界の AI 搭載ソーシャル・ボットネットを特定・特徴づける。
• LLMs が人間らしいコンテンツと偽のペルソナを作成するためにどのように活用されているかを理解する。
• 既存のコンテンツ検出器およびボット検出ツールを用いた LLM- 動作ボットの検出可能性を評価する。
• AI の機能を持つボットネットのさらなる調査のためにデータと洞察を研究コミュニティへ提供する。

提案手法

• AI 言語モデルを言及した自己開示的なツイートを通じてボットネットアカウントを同定する。
• アカウントのサンプルに注釈を付けて、人間らしい vs ボットの可能性を分類し、fox8-23 ベンチマークデータセットを構築する。
• fox8 ボットと基準となる人間のプロフィール、ソーシャルネットワーク構造、コンテンツパターン（オリジナル、返信、リツイート）の特徴を整理する。
• Botometer、OpenAI AI Text Classifier、GPTZero を用いてボット対人間コンテンツの検出手法を評価する。
• 適格なツイートに対する平均 OpenAI detector スコアを用いてアカウントレベルの検出器を提案し、LLM- 動作ボットを分類する。

実験結果

リサーチクエスチョン

• RQ1 実世界の Twitter アカウントは LLM-動作コンテンツ生成を用いて協調的な悪意ボットネットを形成しているのか？
• RQ2 このような AI 搭載ボットの行動パターンとネットワークは人間とどのように異なるのか？
• RQ3 既存の LLM- コンテンツ検出器とボット検出器は実際の野外でこれらのボットを人間と確実に区別できるのか？
• RQ4 LLM 生成コンテンツの信号から実用的な検出アプローチを構築して LLM- 動作ボットを識別できるか？

主な発見

• 1,140 台の fox8 ボットアカウントが互いにフォローし合い、相互返信/リツイートを行う密なクラスターを形成している。
• ボットはオリジナルツイート、返信、リツイートの混在を投稿しており、平均で 25.6% がオリジナル、36.1% が返信、38.4% がリツイート/引用（SD：提供）である。
• 3 つの怪しいウェブサイト（cryptnomics.org、fox8.news、globaleconomics.news）が頻繁に共有され、アカウントはボットネットの信号としてこれらにリンクしている。
• 自己開示的なツイートは ChatGPT ラインのプロンプトの使用を示しており、81.3% は OpenAI ガイドラインに関連する有害/否定的なコンテンツ指示を示し、他は禁止または能力を超えるプロンプトを示している。
• ボット検出ツールは fox8 ボットを識別できず：Botometer の分布は左に歪んでおり、閾値 2.5 でリコールはほぼゼロ。
• ツイートレベルでの OpenAI の AI テキスト分類器はこのデータセットに対して GPTZero よりボット対人間信号を区別する能力が高く、52.7 の閾値で F1 スコア 0.84 のアカウントレベル検出器を可能にする。ランダムアカウントは重なりを示し偽陽性を示唆する。