[论文解读] Making the Most of Tweet-Inherent Features for Social Spam Detection on Twitter

Bo Wang, Arkaitz Zubiaga+2 more|arXiv (Cornell University)|Mar 25, 2015

Spam and Phishing Detection参考文献 8被引用 82

一句话总结

本文提出一种基于微博固有特征的实时垃圾信息检测方法，仅依赖内容和基本元数据，而不依赖历史或网络数据。在两个手工标注的数据集上，使用五种分类器和四种特征集，取得了具有竞争力的性能表现——尤其是树模型与用户+双/三元组（Tf）等组合特征表现突出，证明仅使用少量且易于获取的微博数据即可实现有效的垃圾信息检测。

ABSTRACT

Social spam produces a great amount of noise on social media services such as Twitter, which reduces the signal-to-noise ratio that both end users and data mining applications observe. Existing techniques on social spam detection have focused primarily on the identification of spam accounts by using extensive historical and network-based data. In this paper we focus on the detection of spam tweets, which optimises the amount of data that needs to be gathered by relying only on tweet-inherent features. This enables the application of the spam detection system to a large set of tweets in a timely fashion, potentially applicable in a real-time or near real-time setting. Using two large hand-labelled datasets of tweets containing spam, we study the suitability of five classification algorithms and four different feature sets to the social spam detection task. Our results show that, by using the limited set of features readily available in a tweet, we can achieve encouraging results which are competitive when compared against existing spammer detection systems that make use of additional, costly user features. Our study is the first that attempts at generalising conclusions on the optimal classifiers and sets of features for social spam detection over different datasets.

研究动机与目标

• 为应对Twitter上的社交垃圾信息问题，该问题会降低信噪比，影响用户和数据挖掘应用。
• 开发一种仅依赖单条微博固有特征、不依赖昂贵的历史或网络数据收集的实时或近实时垃圾信息检测系统。
• 使用两个独立的手工标注数据集，评估并比较多种分类算法和特征集在垃圾微博检测中的性能表现。
• 在不同数据集上推广最优分类器和特征组合的发现，以增强垃圾信息检测系统的可复现性和鲁棒性。
• 探索跨数据集泛化可行性，并为未来适应不断演变的垃圾信息模式和合法用户生成的垃圾信息提供支持。

提出的方法

• 本研究将垃圾信息检测视为一项基于微博级别的分类任务，仅使用单条微博中固有的特征，如用户元数据、n-gram、情感分析和词性标注计数。
• 评估了五种分类算法（逻辑回归、SVM、朴素贝叶斯、决策树和随机森林）在将微博分类为垃圾或非垃圾方面的表现。
• 构建了四种特征集：用户特征（如关注者数量）、n-gram（一元组、二元组、三元组）、情感特征，以及结合NSW（垃圾词数量）和POS（词性标注）计数的内容特征。
• 特征工程在单条微博基础上进行，计算时间被测量以评估可扩展性，特别是对实时部署的适用性。
• 使用两个于2011年收集的大型手工标注数据集进行评估，其收集方法不同，以测试结果的鲁棒性和可重复性。
• 使用标准指标（如F1-score）评估性能，并在不同分类器和特征组合之间进行比较，以识别最优配置。

实验结果

研究问题

• RQ1 是否可以仅使用微博固有特征，而无需依赖历史或网络用户数据，实现有效的垃圾信息检测？
• RQ2 在仅使用微博固有特征的条件下，哪些分类算法在垃圾微博检测中表现最佳？
• RQ3 在不同数据集中，哪种微博固有特征组合能实现最高的检测性能？
• RQ4 当特征集单独使用与组合使用时，其性能特征如何比较？
• RQ5 在通过不同方法收集的数据集上，研究结果的泛化程度如何，能否体现其鲁棒性和可重复性？

主要发现

• 树模型分类器，尤其是随机森林，在五种评估算法中表现最佳，证实了其在该任务中的有效性。
• 用户特征与双/三元组（Tf）特征的组合在两个数据集上均取得了最高的F1-score，表明整合用户层面和内容层面的信号可显著提升检测效果。
• 包含NSW（垃圾词数量）和POS（词性标注）计数的内容特征计算成本较高，每1000条微博的特征工程耗时约20秒。
• 使用多种特征集可提升检测性能，因为这增加了捕捉多样化垃圾信息模式的可能性，并降低垃圾信息发送者规避检测的可能性。
• 仅使用微博固有特征即可实现具有竞争力的性能，使其适用于数据采集流水线中的实时或近实时部署。
• 在通过不同方法收集的两个数据集上，结果具有可重复性，支持了最优分类器和特征组合发现的泛化能力。