[论文解读] The paradigm-shift of social spambots: Evidence, theories, and tools for the arms race

Stefano Cresci, Roberto Di Pietro+3 more|Technical University of Denmark, DTU Orbit (Technical University of Denmark, DTU)|Jan 11, 2017

Spam and Phishing Detection参考文献 47被引用 227

一句话总结

这篇论文提供了Twitter 上新一波社会机器人（social spambots）能够规避平台和人类检测的实证证据，评估现有检测工具，分析众包人类表现，并倡导基于群体行为的标注和新检测方法。

ABSTRACT

Recent studies in social media spam and automation provide anecdotal argumentation of the rise of a new generation of spambots, so-called social spambots. Here, for the first time, we extensively study this novel phenomenon on Twitter and we provide quantitative evidence that a paradigm-shift exists in spambot design. First, we measure current Twitter's capabilities of detecting the new social spambots. Later, we assess the human performance in discriminating between genuine accounts, social spambots, and traditional spambots. Then, we benchmark several state-of-the-art techniques proposed by the academic literature. Results show that neither Twitter, nor humans, nor cutting-edge applications are currently capable of accurately detecting the new social spambots. Our results call for new approaches capable of turning the tide in the fight against this raising phenomenon. We conclude by reviewing the latest literature on spambots detection and we highlight an emerging common research trend based on the analysis of collective behaviors. Insights derived from both our extensive experimental campaign and survey shed light on the most promising directions of research and lay the foundations for the arms race against the novel social spambots. Finally, to foster research on this novel phenomenon, we make publicly available to the scientific community all the datasets used in this study.

研究动机与目标

• 证明存在一种新型社会机器人浪潮及其检测挑战。
• 评估当前 Twitter 和人类在检测社会机器人方面的能力。
• 评阅并批判传统检测工具及特征与新的基于群体的方法之间的差异。
• 提供数据集与指南，推进机器人研究中的标注与基准测试。
• 为与不断演化的社会机器人持续博弈的对抗策略奠定基础。

提出的方法

• 构建并分析多个 Twitter 数据集，包含真实账户、传统社会机器人，以及跨三组的新型社会机器人。
• 评估 Twitter 使用 API 响应代码暂停恶意账户的能力，以估算存活率。
• 与可信贡献者共同开展众包检测活动，对账户进行分类并衡量人类表现。
• 在新型社会机器人数据集上基准测试现有的机器人检测技术（BotOrNot?, Yang 等人分类器，以及无监督/基于图的方法）。
• 提出并实现替代的标注方法，聚焦于群体行为的相似性，以改进地面实况数据集。

Figure 1: Survival rates for different types of accounts.

实验结果

研究问题

• RQ1 RQ1：Twitter 在检测和删除社会机器人方面的能力在多大程度上？
• RQ2 RQ2：人在真实环境中能否成功检测到社会机器人？
• RQ3 RQ3：人类能否区分传统 spambots、社会机器人和真实账户？
• RQ4 RQ4：最先进的检测工具是否能够检测到社会机器人？
• RQ5 RQ5：哪些新兴的方法论方向能够有效对抗社会机器人？

主要发现

• 真实账户在 Twitter 上存活率较高（96.5%），而假关注者和一些传统 spambots 被大多检测到或具有高暂停率。
• 社会机器人存活率与真实账户相似（95.2%–99.6%），表明其比传统 spambots 更能规避平台检测。
• 众包工作者在传统 spambots（≈0.91–0.92）和真实账户（≈0.92）上表现出高准确性，但在社会机器人上表现较差（≈0.24），且社会机器人之间的一致性较低（κ ≈ 0.186）。
• 现有工具对社会机器人效果有限；BotOrNot? 和 Yang 等人分类器在社会机器人上表现不佳，尤其是在召回方面。
• 一种无监督的基于账户-特征图的图聚类方法（fastgreedy）实现了较强的检测效果（测试集#1 的 MCC ≈ 0.886，测试集#2 的 MCC ≈ 0.847），超出多种有监督和文本密集的方法。
• 本文倡导基于群体行为的标注，并提供公开发布的带标注数据集以支持此类方法。

Figure 2: Dataset composition for the crowdsourcing experiment.