[論文レビュー] The paradigm-shift of social spambots: Evidence, theories, and tools for the arms race

Stefano Cresci, Roberto Di Pietro+3 more|Technical University of Denmark, DTU Orbit (Technical University of Denmark, DTU)|Jan 11, 2017

Spam and Phishing Detection参考文献 47被引用数 227

ひとこと要約

本論文は、プラットフォームと人間の検出を回避する新たな波のソーシャルボットがTwitterに現れたことを実証的に示し、既存の検出ツールを評価し、クラウドソーシングによる人間の性能を分析し、グループ挙動ベースの注釈と新しい検出アプローチを提唱します。

ABSTRACT

Recent studies in social media spam and automation provide anecdotal argumentation of the rise of a new generation of spambots, so-called social spambots. Here, for the first time, we extensively study this novel phenomenon on Twitter and we provide quantitative evidence that a paradigm-shift exists in spambot design. First, we measure current Twitter's capabilities of detecting the new social spambots. Later, we assess the human performance in discriminating between genuine accounts, social spambots, and traditional spambots. Then, we benchmark several state-of-the-art techniques proposed by the academic literature. Results show that neither Twitter, nor humans, nor cutting-edge applications are currently capable of accurately detecting the new social spambots. Our results call for new approaches capable of turning the tide in the fight against this raising phenomenon. We conclude by reviewing the latest literature on spambots detection and we highlight an emerging common research trend based on the analysis of collective behaviors. Insights derived from both our extensive experimental campaign and survey shed light on the most promising directions of research and lay the foundations for the arms race against the novel social spambots. Finally, to foster research on this novel phenomenon, we make publicly available to the scientific community all the datasets used in this study.

研究の動機と目的

• 新たな波のソーシャルボットの存在と検出の課題を実証する。
• ソーシャルボットを検出する際の現在のTwitterと人間の能力を評価する。
• 従来の検出ツールと特徴を、新しいグループベースのアプローチと比較・批評する。
• ボット研究における注釈とベンチマークを進めるためのデータセットとガイドラインを提供する。
• 進化するソーシャルボットに対する継続的な軍拡競争戦略の基盤を築く。

提案手法

• 三つのグループにまたがる、 genuineアカウント、従来のボット、および新規のソーシャルボットを含む複数のTwitterデータセットを構築・分析する。
• 生存性を推定するためにAPI応答コードを用いて、悪質アカウントの停止能力をTwitterの能力を評価する。
• 信頼された寄稿者とともにクラウドソーシング検出キャンペーンを実施し、アカウントを分類して人間の性能を測定する。
• 新しいボットデータセット上で、確立されたスパムボット検出技術（BotOrNot?、Yang et al.分類器、無監督/グラフベースの手法）をベンチマークする。
• グループ挙動の類似性に焦点を当てた代替の注釈手法を提案・実装し、グラウンドトゥルースデータセットの改善を図る。

Figure 1: Survival rates for different types of accounts.

実験結果

リサーチクエスチョン

• RQ1 RQ1: Twitterはソーシャルボットを検出・削除する能力をどの程度持つか？
• RQ2 RQ2: 人間は現実の状況でソーシャルボットを検出することに成功しているか？
• RQ3 RQ3: 人間は従来のボット、ソーシャルボット、真のアカウントを区別できるか？
• RQ4 RQ4: 最先端の検出ツールはソーシャルボットを検出できるか？
• RQ5 RQ5: ソーシャルボットに効果的に対抗する新たな方法論的方向性は何か？

主な発見

type	accounts #	TP	TN	FP	FN	Accuracy	Fleiss’ kappa
traditional spambots	1516	1385	0	0	131	0.9136	0.007
social spambots	1393	328	0	0	1065	0.2355	0.186
genuine accounts	1377	0	1267	110	0	0.9201	0.410

• 真のアカウントはTwitter上で高い生存率を示す（96.5%）、一方で偽フォロワーや従来のボットの一部は検出されやすいか停止率が高い。
• ソーシャルボットは真のアカウントと同様の生存率（95.2%–99.6%）を示し、従来のボットよりプラットフォーム検出を回避する傾向を示す。
• クラウドワーカーは従来のボット（≈0.91–0.92）と真のアカウント（≈0.92）で高精度を達成するが、ソーシャルボットでは低精度（≈0.24）で、ソーシャルボットに対する評価者間一致は低い（κ ≈ 0.186）。
• 既設のツールはソーシャルボットに対して限定的な成功を示す。BotOrNot?とYangらの分類器はソーシャルボットに対して特にリコールが低い。
• アカウント特徴グラフに対する教師なしのグラフクラスタリング手法（fastgreedy）は高い検出性能を示す（MCC ≈ 0.886 for test set #1, ≈0.847 for test set #2）、いくつかの教師ありおよびテキスト重視手法を上回る。
• 本論文はグループ挙動ベースの注釈を推奨し、そのような手法を支える公開済みの注釈データセットを提供している。

Figure 2: Dataset composition for the crowdsourcing experiment.