[论文解读] Hunting for Spammers: Detecting Evolved Spammers on Twitter

Nour El-Mawass, Saad Saleh Alaboodi|arXiv (Cornell University)|Dec 8, 2015

Spam and Phishing Detection参考文献 24被引用 7

一句话总结

本文提出了一种数据驱动的自适应机器学习系统，通过更新人工标注、优化特征以应对规避技术，并引入一种名为“猎手”（'hunter'）的单元，以提升对垃圾信息社区的检测能力。该系统在检测高度自动化、上下文无关的垃圾信息方面，优于以往最先进的系统，尤其在趋势话题中的表现更为突出。

ABSTRACT

Once an email problem, spam has nowadays branched into new territories with disruptive effects. In particular, spam has established itself over the recent years as a ubiquitous, annoying, and sometimes threatening aspect of online social networks. Due to its prevalent existence, many works have tackled spam on Twitter from different angles. Spam is, however, a moving target. The new generation of spammers on Twitter has evolved into online creatures that are not easily recognizable by old detection systems. With the strong tangled spamming community, automatic tweeting scripts, and the ability to massively create Twitter accounts with a negligible cost, spam on Twitter is becoming smarter, fuzzier and harder to detect. Our own analysis of spam content on Arabic trending hashtags in Saudi Arabia results in an estimate of about three quarters of the total generated content. This alarming rate makes the development of adaptive spam detection techniques a very real and pressing need. In this paper, we analyze the spam content of trending hashtags on Saudi Twitter, and assess the performance of previous spam detection systems on our recently gathered dataset. Due to the escalating manipulation that characterizes newer spamming accounts, simple manual labeling currently leads to inaccurate results. In order to get reliable ground-truth data, we propose an updated manual classification algorithm that avoids the deficiencies of older manual approaches. We also adapt the previously proposed features to respond to spammers evading techniques, and use these features to build a new data-driven detection system.

研究动机与目标

• 解决在阿拉伯语推特上检测复杂、演化的垃圾信息账号所面临的日益严峻挑战，这些账号通过自动化和社交网络操控手段规避传统检测系统。
• 通过提出一种更新的、考虑自动化程度和内容模式的人工分类算法，为垃圾信息账号提供准确的基准标签。
• 评估以往垃圾信息检测特征和系统在近期阿拉伯语推特数据上的有效性，揭示其在面对现代规避技术时的局限性。
• 开发一组稳健且自适应的特征，以响应当前的垃圾信息行为，包括基于内容和时间特性的特征。
• 设计一种检测系统，将垃圾信息账号视为协同运作、相互关联的社区的一部分，而非孤立个体，从而提升检测的准确性和覆盖率。

提出的方法

• 提出一种修订后的手动分类算法，结合自动化率和内容合法性，为阿拉伯语推特垃圾信息账号生成可靠的基准标签。
• 调整先前提出的特征（如基于内容的度量和垃圾词典使用情况），以应对现代规避策略，如文本改写和人工随机性。
• 引入一个“猎手”单元，利用已知垃圾账号的社交网络，主动识别并采样更多潜在的垃圾信息账号，从而提高检测灵敏度。
• 采用基于实证验证特征的监督机器学习分类器，这些特征源自近期数据，确保与当前垃圾信息行为模式的相关性。
• 采用数据驱动的方法进行特征选择，优先保留那些在不断演变的垃圾信息策略和动态内容生成背景下依然有效的特征。
• 结合对发帖时间模式的时序分析，以检测自动化特征，从而在静态统计特征之外进一步提升检测能力。

实验结果

研究问题

• RQ1 传统垃圾信息检测特征在应对现代、演化的阿拉伯语推特垃圾信息账号时，有效性如何？
• RQ2 如何改进人工标注，以准确反映垃圾信息账号的自动化程度和内容合法性，避免旧方法带来的偏差？
• RQ3 哪些新特征在检测使用自动化工具和社交网络操控手段以逃避检测的垃圾信息账号方面最为有效？
• RQ4 当应用于近期阿拉伯语推特数据时，以往最先进的垃圾信息检测系统的性能退化程度如何？
• RQ5 一种利用社交网络结构的“猎手”单元是否能显著提升对垃圾信息社区的检测能力？

主要发现

• 沙特阿拉伯阿拉伯语趋势话题中约75%的推文为垃圾信息，其中显著更高比例为自动生成。
• 现有最先进的垃圾信息检测系统在近期阿拉伯语推特数据上的表现欠佳，表明其因垃圾信息技术的演进而已过时。
• 仅有少数先前提出的特征——尤其是基于内容和动态词典的特征——在现代垃圾信息规避策略下仍具有效性。
• 所提出的检测系统优于以往方法，尤其在识别趋势话题中高度自动化、无上下文的垃圾信息方面表现突出。
• “猎手”单元通过利用已识别垃圾账号的社交网络连接，显著提高了垃圾账号的检测率。
• 误报主要源于处于灰色地带的账号——部分自动化或被入侵的人类账号——凸显了开发多类别检测模型的必要性。