[论文解读] Collective Classification of Spam Campaigners on Twitter: A Hierarchical Meta-Path Based Approach

Srishti Gupta, Abhinav Khattar+3 more|arXiv (Cornell University)|Feb 12, 2018

Spam and Phishing Detection被引用 13

一句话总结

本文提出了一种基于分层元路径的集体分类方法，用于检测在Twitter上推广电话号码而非URL的垃圾信息推广者。通过将Twitter建模为异构网络，并使用一种新颖的分层元路径评分（HMPS）结合基于反馈的主动学习，该方法相较于最佳基线方法，AUC提升67.3%，F1-score提升6.9%，有效识别出此前未被发现的垃圾账号。

ABSTRACT

Cybercriminals have leveraged the popularity of a large user base available on Online Social Networks to spread spam campaigns by propagating phishing URLs, attaching malicious contents, etc. However, another kind of spam attacks using phone numbers has recently become prevalent on OSNs, where spammers advertise phone numbers to attract users' attention and convince them to make a call to these phone numbers. The dynamics of phone number based spam is different from URL-based spam due to an inherent trust associated with a phone number. While previous work has proposed strategies to mitigate URL-based spam attacks, phone number based spam attacks have received less attention. In this paper, we aim to detect spammers that use phone numbers to promote campaigns on Twitter. To this end, we collected information about 3,370 campaigns spread by 670,251 users. We model the Twitter dataset as a heterogeneous network by leveraging various interconnections between different types of nodes present in the dataset. In particular, we make the following contributions: (i) We propose a simple yet effective metric, called Hierarchical Meta-Path Score (HMPS) to measure the proximity of an unknown user to the other known pool of spammers. (ii) We design a feedback-based active learning strategy and show that it significantly outperforms three state-of-the-art baselines for the task of spam detection. Our method achieves 6.9% and 67.3% higher F1-score and AUC, respectively compared to the best baseline method. (iii) To overcome the problem of less training instances for supervised learning, we show that our proposed feedback strategy achieves 25.6% and 46% higher F1-score and AUC respectively than other oversampling strategies. Finally, we perform a case study to show how our method is capable of detecting those users as spammers who have not been suspended by Twitter (and other baselines) yet.

研究动机与目标

• 为应对Twitter上日益增长的电话号码型垃圾信息推广活动的威胁，此类活动与传统的URL型垃圾信息不同，且在现有文献中研究不足。
• 将Twitter建模为异构网络，捕捉用户、推广活动和电话号码之间的交互关系，以提升垃圾信息检测效果。
• 开发一种可扩展且高效的检测方法，通过已知垃圾账号网络的邻近度，实现对未知垃圾账号的集体分类。
• 通过引入基于反馈的主动学习策略，克服监督学习中的数据稀缺问题，该策略优于标准的数据增强技术。
• 检测出尚未被Twitter或现有检测系统识别的活跃垃圾账号。

提出的方法

• 作者将Twitter数据集建模为异构网络，其中节点代表用户、推广活动和电话号码，边代表互动关系，如转发、提及和推广传播。
• 提出分层元路径评分（HMPS），一种新颖的度量方法，通过在网络中聚合多层次元路径的相似度得分，计算未知用户与已知垃圾账号之间的接近度。
• 该方法采用基于反馈的主动学习策略，迭代选择最具信息量的未标注用户进行人工标注，以最小的标注成本提升模型性能。
• HMPS利用不同元路径（如用户→电话号码→用户）的语义信息，捕捉结构相似性，从而区分垃圾行为与正常活动。
• 该方法使用基于反馈标注数据训练的一类分类器，即使正样本数量有限，也能实现有效的检测。
• 该框架基于包含3,370个推广活动和670,251名用户的现实世界数据集进行评估，并采用人工标注的真实标签进行验证。

实验结果

研究问题

• RQ1 如何有效检测以电话号码而非URL为主要攻击向量的Twitter垃圾信息推广活动？
• RQ2 分层元路径在多大程度上能通过测量与已知垃圾网络的结构接近度，提升对未知垃圾账号的检测能力？
• RQ3 在数据量有限的场景下，基于反馈的主动学习策略是否能显著优于传统的监督学习和数据增强方法？
• RQ4 在F1-score和AUC方面，该方法与现有基线相比表现如何，特别是在检测未被停用的垃圾账号方面？
• RQ5 该模型能否识别出Twitter自身系统及先前基线未能检测到的垃圾账号？

主要发现

• 所提出的基于反馈的主动学习策略相比最佳基线方法，F1-score提升6.9%，AUC提升67.3%。
• 在训练数据有限的情况下，该方法相比标准数据增强技术，F1-score提升25.6%，AUC提升46%。
• 分层元路径评分（HMPS）能有效捕捉异构网络中的结构相似性，实现对垃圾账号行为的精准识别。
• 案例研究证实，该方法检测到15.2%的垃圾账号未被Twitter停用，也未被现有基线方法识别。
• 由于基于反馈的标注策略，模型展现出强大的泛化能力，在正样本稀疏的情况下仍保持高性能。
• 结果验证了将在线社交网络（OSNs）建模为带语义元路径的异构网络，可显著提升垃圾信息检测效果，优于同构网络或基于特征的方法。