[論文レビュー] An in-depth characterisation of Bots and Humans on Twitter

Zafar Gilani, Reza Farahbakhsh+3 more|arXiv (Cornell University)|Apr 5, 2017

Spam and Phishing Detection参考文献 14被引用数 24

ひとこと要約

本研究では、フォロワー数に基づく人気度の4つのグループに分けられたTwitterユーザーについて、大規模かつ人間によるアノテーションを実施し、行動指標を用いてボットと人間を区別した。その結果、ボットはより多くのツイートを生成し、リツイートやURL共有に大きく依存している一方、人間はより多くのオリジナルコンテンツを生成し、著しく高いエンゲージメントを受ける。エンゲージメントは低いものの、ボットは情報伝達の54.59％を占めており、コンテンツ拡散における重要な役割を果たしていることが明らかになった。

ABSTRACT

Recent research has shown a substantial active presence of bots in online social networks (OSNs). In this paper we utilise our past work on studying bots (Stweeler) to comparatively analyse the usage and impact of bots and humans on Twitter, one of the largest OSNs in the world. We collect a large-scale Twitter dataset and define various metrics based on tweet metadata. We divide and filter the dataset in four popularity groups in terms of number of followers. Using a human annotation task we assign 'bot' and 'human' ground-truth labels to the dataset, and compare the annotations against an online bot detection tool for evaluation. We then ask a series of questions to discern important behavioural bot and human characteristics using metrics within and among four popularity groups. From the comparative analysis we draw important differences as well as surprising similarities between the two entities, thus paving the way for reliable classification of automated political infiltration, advertisement campaigns, and general bot detection.

研究の動機と目的

• 人気度の異なる段階におけるTwitter上でのボットと人間の行動的差異を理解すること。
• ボットが情報伝達およびソーシャルネットワークダイナミクスに与える影響を評価すること。
• 自動化ツールの限界を克服し、信頼性の高い人間によるアノテーションによるボット検出の基準を提供すること。
• 有名人などのハイパーカリスティックな人間ユーザーでさえもボットに似た行動を示すメカニズムを調査すること。
• 強固で識別力のある行動的特徴を同定することで、今後のボット検出システムの構築を支援すること。

提案手法

• フォロワー数に基づいて4つの人気度グループに分類された大規模なTwitterデータセットを収集した。
• 代表的なアカウントのサンプルに対して人間によるアノテーションタスクを実施し、ボットまたは人間という真のラベルを割り当てた。
• ツイート頻度、リツイート、URL使用、メディアサイズ、エンゲージメント（いいね、リツイート）を含む10の行動指標を定義し、計算した。
• t検定を用いた統計的仮説検定により、人気度グループごとのボットと人間の行動に顕著な差が存在するかを評価した。
• 情報伝達フローをシミュレートし、ネットワーク全体におけるボットのコンテンツ拡散における役割を定量的に評価した。
• 既存のオンラインボット検出ツールと比較することで、性能を評価し、検出の不正確さを同定した。

実験結果

リサーチクエスチョン

• RQ1 Twitter上での人気度の異なる段階において、ボットと人間の投稿行動およびエンゲージメント行動にどのような差が見られるか？
• RQ2 人間と比較して、ボットは情報伝達にどの程度貢献しているか？
• RQ3 特に人間とボットの行動が重複するハイフローラーのカテゴリにおいて、ボットと人間を区別する行動パターンは何か？
• RQ4 リツイート、いいね、フレンドシップなどのソーシャルインタラクションは、ボットと人間でどのように異なるか？
• RQ5 有名人やハイパーカリスティックなユーザーはどの程度ボットに似た行動を示すのか？これはボット検出にどのような示唆をもたらすか？

主な発見

• ボットは人間よりも顕著に多くのツイートを生成しており、特に100万フォロワー以上のグループでは、人間の対象よりも頻繁にツイートしている。
• ボットはリツイートやURL共有に著しく依存しており、外部リンクを含むツイートの割合が人間よりも顕著に高い。
• 高いツイート頻度にもかかわらず、ボットは著しく低いエンゲージメントを受ける。全人気度グループを通じて、人間はボットのツイートに対して平均19倍、中央値で41倍のいいねを受ける。
• 人間はボットのツイートに対して平均10倍、中央値で33倍のリツイートを受けるため、ボットのコンテンツはより低い拡散性と社会的インパクトを示している。
• ボットは相互のエンゲージメントが少なく、人間は顕著に高い割合の相互フレンドシップを形成しており、他者のコンテンツに対するいいねの頻度も高い。
• ボットはTwitter全体の情報伝達の54.59％を担っており、効果性は低いものの、コンテンツ拡散における顕著な役割を果たしていることが示された。