[论文解读] An Unsupervised Approach to Detect Spam Campaigns that Use Botnets on Twitter

Zhouhan Chen, Devika Subramanian|arXiv (Cornell University)|Apr 14, 2018

Spam and Phishing Detection参考文献 8被引用 43

一句话总结

一个无监督的实时系统检测由僵尸网络驱动的Twitter垃圾信息活动，这些账户发布含嵌入URL的重复内容，构建恶意软件/僵尸网络数据库，并提供用于数据集过滤的公共API。

ABSTRACT

In recent years, Twitter has seen a proliferation of automated accounts or bots that send spam, offer clickbait, compromise security using malware, and attempt to skew public opinion. Previous research estimates that around 9% to 17% of Twitter accounts are bots contributing to between 16% to 56% of tweets on the medium. This paper introduces an unsupervised approach to detect Twitter spam campaigns in real-time. The bot groups we detect tweet duplicate content with shortened embedded URLs over extended periods of time. Our experiments with the detection protocol reveal that bots consistently account for 10% to 50% of tweets generated from 7 popular URL shortening services on Twitter. More importantly, we discover that bots using shortened URLs are connected to large scale spam campaigns that control thousands of domains. There appear to be two distinct mechanisms used to control bot groups and we investigate both in this paper. Our detection system runs 24/7 and actively collects bots involved in spam campaigns and adds them to an evolving database of malicious bots. We make our database of detected bots available for query through a REST API so others can filter tweets from malicious bots to get high quality Twitter datasets for analysis.

研究动机与目标

• 动员并应对通过含URL的推文传播垃圾信息和恶意软件的Twitter机器人广泛存在的问题。
• 开发一个完全无监督的实时检测系统，在没有标注数据的情况下识别机器人群体和垃圾信息活动。
• 实现通过公共API持续收集恶意机器人并传播威胁情报。

提出的方法

• 对包含URL的推文进行实时异常趋势监测，以顶-k 方式识别热门网络位置（netlocs）。
• 一个作业调度器，从最受欢迎的URL缩短服务抓取推文，并对新URL触发僵尸网络检测。
• 一个由爬虫、重复过滤、基于重叠的机器人识别以及无监督聚类组成的四部分机器人检测器，用于形成文本相似性很高的机器人群组。
• 一个使用Selenium的URL解析器，用于识别恶意行为，例如钓鱼或重定向中嵌入的隐藏URL。
• 一个垃圾信息活动分类器，通过WHOIS将恶意URL与注册人电子邮件关联起来，以将注册人映射到僵尸网络并识别大规模活动。

实验结果

研究问题

• RQ1 在没有标注训练数据的情况下， 无监督的实时系统是否能检测到协调的Twitter垃圾信息活动？
• RQ2 发布带缩短URL的重复内容的机器人群组是否与由注册人控制的大规模垃圾信息活动相关？
• RQ3 垃圾邮件发送者控制Twitter僵尸网络的机制是什么，如何比现有方法更早地检测到？
• RQ4 将域名注册信息映射到僵尸网络以识别大规模活动的有效性有多高？

主要发现

• 机器人发布带有嵌入URL的重复内容，来自URL缩短服务的账户在一段时间内占比推文的10%到50%。
• 自2017年9月10日至2017年11月14日，识别出848个独特的可疑注册电子邮件，背后有11,048个僵尸网络、共185,922个账户。
• 该系统揭示了注册数千个域名并使用代理URL及钓鱼站点的大规模活动。
• 观察到两种机器人控制机制：传统僵尸网络（批量域名/账户创建）以及通过Twitter应用劫持的合法账户。
• 三次大规模活动显示出显著的活跃度，注册人姓名与数千个域名相关，且群组中僵尸机器人比例很高。