[论文解读] An Empirical Analysis of SMS Scam Detection Systems

Muhammad Salman, Muhammad Ikram+1 more|arXiv (Cornell University)|Oct 19, 2022

Spam and Phishing Detection被引用 10

一句话总结

本文引入了目前公开可用的最大规模短信诈骗数据集（153,551条信息），并在该数据集上评估了多种机器学习模型——涵盖浅层学习、深度学习、一类学习和PU学习——的表现。研究发现，基于Transformer的模型展现出更优的鲁棒性，而fastText在速度与性能之间提供了良好的平衡，同时强调了对抗性训练和协作检测框架在应对不断演变的诈骗策略中的关键作用。

ABSTRACT

The short message service (SMS) was introduced a generation ago to the mobile phone users. They make up the world's oldest large-scale network, with billions of users and therefore attracts a lot of fraud. Due to the convergence of mobile network with internet, SMS based scams can potentially compromise the security of internet services as well. In this study, we present a new SMS scam dataset consisting of 153,551 SMSes. This dataset that we will release publicly for research purposes represents the largest publicly-available SMS scam dataset. We evaluate and compare the performance achieved by several established machine learning methods on the new dataset, ranging from shallow machine learning approaches to deep neural networks to syntactic and semantic feature models. We then study the existing models from an adversarial viewpoint by assessing its robustness against different level of adversarial manipulation. This perspective consolidates the current state of the art in SMS Spam filtering, highlights the limitations and the opportunities to improve the existing approaches.

研究动机与目标

• 为解决当前缺乏大规模、最新且公开可用的短信垃圾信息数据集，以反映当前诈骗趋势的问题。
• 在新收集的大规模短信垃圾信息数据集上，评估并比较多种机器学习方法，包括深度学习、一类学习和PU学习。
• 评估现有短信垃圾信息检测模型在对抗性扰动下的鲁棒性，以反映现实世界中的规避策略。
• 识别当前短信垃圾信息研究中的方法论缺陷，如依赖过时数据集和数据不平衡问题，并提出一个全面的评估框架。
• 倡导采用结合内容特征与网络级特征的协作式混合检测系统，以提升实际部署中的检测效果。

提出的方法

• 从ScamWatch和Action Fraud等公开来源收集了153,551条短信，其中27.31%被标记为垃圾信息（15,209条），72.69%为正常信息（40,477条）。
• 评估了多种机器学习模型：传统分类器（如fastText）、深度神经网络、Transformer模型（如BERT），以及无监督方法（如OCSVM和PU学习）。
• 采用多种特征表示方式：词袋计数、TF-IDF，以及上下文词嵌入（如Word2Vec、GloVe），以评估特征重要性。
• 设计了不同扰动水平的黑盒对抗性攻击策略（如同义词替换、字符级修改），以测试模型的鲁棒性。
• 通过F1-score和准确率进行对比实验，重点关注数据集中的类别不平衡问题。
• 提出一种混合评估框架，整合基于内容的模型与非内容特征（如信息长度、发送时间、网络元数据）以提升检测效果。

实验结果

研究问题

• RQ1 不同机器学习模型（尤其是深度学习和无监督方法）在大规模、现代短信垃圾信息数据集上的表现如何？
• RQ2 现有短信垃圾信息检测模型在面对模仿真实诈骗者规避技术的对抗性扰动时，其鲁棒性如何？
• RQ3 使用不同特征表示方式（从简单的计数方法到上下文词嵌入）时，模型性能如何变化？
• RQ4 在短信垃圾信息检测中，模型性能、训练时间和计算成本之间的权衡关系是什么？
• RQ5 如何通过结合用户端与网络端特征的协作式、混合检测系统来提升整体检测效率？

主要发现

• 基于Transformer的深度学习模型在对抗性攻击下表现出最高的鲁棒性，显著优于其他模型，在扰动条件下仍能保持较高的F1-score。
• fastText实现了82%的F1-score，且训练和推理时间极短，使其在资源受限环境中成为深度学习的有力替代方案。
• 传统监督模型在干净数据上表现良好，但在对抗性条件下泛化能力差，多数模型在攻击下精确率降至90%以下。
• 上下文词嵌入（如Word2Vec、GloVe）显著提升了分类准确率和鲁棒性，优于非语义向量空间模型（如TF-IDF）。
• 在高度不平衡的数据集中，仅使用准确率作为主要指标具有误导性；F1-score更能可靠反映真实垃圾信息检测中的模型性能。
• 一类学习和PU学习方法在无监督垃圾信息检测中展现出潜力，表明未来可减少对大规模标注数据的依赖。