[论文解读] An in-depth characterisation of Bots and Humans on Twitter

Zafar Gilani, Reza Farahbakhsh+3 more|arXiv (Cornell University)|Apr 5, 2017

Spam and Phishing Detection参考文献 14被引用 24

一句话总结

本研究对Twitter用户进行了大规模的人工标注分析，通过四个基于粉丝数的流行度群体，利用行为指标区分机器人与人类。研究发现，机器人生成的推文更多，且高度依赖转发和链接分享，而人类则产生更多原创内容并获得显著更高的互动量；尽管互动量较低，机器人仍影响了54.59%的信息传播流，凸显其在内容传播中的关键作用。

ABSTRACT

Recent research has shown a substantial active presence of bots in online social networks (OSNs). In this paper we utilise our past work on studying bots (Stweeler) to comparatively analyse the usage and impact of bots and humans on Twitter, one of the largest OSNs in the world. We collect a large-scale Twitter dataset and define various metrics based on tweet metadata. We divide and filter the dataset in four popularity groups in terms of number of followers. Using a human annotation task we assign 'bot' and 'human' ground-truth labels to the dataset, and compare the annotations against an online bot detection tool for evaluation. We then ask a series of questions to discern important behavioural bot and human characteristics using metrics within and among four popularity groups. From the comparative analysis we draw important differences as well as surprising similarities between the two entities, thus paving the way for reliable classification of automated political infiltration, advertisement campaigns, and general bot detection.

研究动机与目标

• 理解在不同流行度水平下，Twitter上机器人与人类之间的行为差异。
• 评估机器人对信息传播及社交网络动态的影响。
• 通过克服自动化工具的局限性，提供可靠的人工标注真实标签，用于机器人检测。
• 探索即使在高影响力的人类用户（如名人）中，机器人行为特征如何显现。
• 通过识别稳健且具有区分性的行为特征，为未来机器人检测系统提供支持。

提出的方法

• 收集大规模Twitter数据集，并根据粉丝数量将用户划分为四个流行度群体。
• 开展人工标注任务，为具有代表性的账户样本分配真实标签（'机器人'或'人类'）。
• 定义并计算10项行为指标，包括推文频率、转发行为、URL使用、媒体大小以及互动量（点赞、转发）。
• 使用统计假设检验（t检验）评估在不同流行度群体中，机器人与人类行为的显著差异。
• 通过模拟信息传播流，量化机器人在社交网络中内容传播中的作用。
• 与现有在线机器人检测工具进行对比，评估性能并识别检测误差。

实验结果

研究问题

• RQ1 在Twitter的不同流行度层级中，机器人与人类的发帖和互动行为有何差异？
• RQ2 与人类相比，机器人在信息传播中所占的比重有多大？
• RQ3 哪些行为模式能够将机器人与人类区分开来，特别是在人类与机器人行为可能趋同的高粉丝数类别中？
• RQ4 机器人与人类在社交互动（如转发、点赞和好友关系）方面有何不同？
• RQ5 名人或高影响力用户在多大程度上表现出机器人行为特征？这对机器人检测意味着什么？

主要发现

• 机器人生成的推文显著多于人类，尤其在粉丝数超过100万的群体中，其发帖频率高于同类人类用户。
• 机器人更严重依赖转发和链接分享，其推文中包含外部链接的比例远高于人类。
• 尽管发帖量高，机器人获得的互动量却显著较低：在所有流行度群体中，人类每条推文的平均点赞量是机器人的19倍，中位数是其41倍。
• 人类每条推文的平均转发量是机器人的10倍，中位数是其33倍，表明机器人内容的传播力和社交影响力更低。
• 机器人表现出更少的互惠互动，人类拥有显著更高比例的互相关注关系，且更频繁地点赞他人内容。
• 机器人负责Twitter上54.59%的信息传播流，表明其在内容传播中虽效率较低，但作用重大。