[论文解读] A Transformer-based Model to Detect Phishing URLs

Pingfan Xu|arXiv (Cornell University)|Sep 5, 2021

Spam and Phishing Detection参考文献 25被引用 6

一句话总结

本文提出了一种轻量级基于Transformer的钓鱼URL检测模型，利用自注意力机制分析URL序列，测试准确率达到97.3%。该模型在所有指标上均优于六种经典机器学习模型，证明了注意力机制架构在恶意URL分类中的有效性。

ABSTRACT

Phishing attacks are among emerging security issues that recently draws significant attention in the cyber security community. There are numerous existing approaches for phishing URL detection. However, malicious URL detection is still a research hotspot because attackers can bypass newly introduced detection mechanisms by changing their tactics. This paper will introduce a transformer-based malicious URL detection model, which has significant accuracy and outperforms current detection methods. We conduct experiments and compare them with six existing classical detection models. Experiments demonstrate that our transformer-based model is the best performing model from all perspectives among the seven models and achieves 97.3 % of detection accuracy.

研究动机与目标

• 为应对不断演变的钓鱼攻击所导致的传统检测机制失效的挑战。
• 开发一种轻量级但高性能的模型，利用深度学习实现实时恶意URL检测。
• 从准确率、精确率、召回率和F1分数等角度，将所提出的模型与已建立的经典模型进行对比评估。
• 证明Transformer架构在基于URL的钓鱼检测中的可行性，这一应用领域尚属研究较少。
• 为浏览器安全或企业反钓鱼系统提供一种强大且可扩展的解决方案。

提出的方法

• 该模型采用Transformer编码器架构，将输入URL作为标记化序列处理，通过多头自注意力机制捕捉长距离依赖关系。
• 输入URL通过学习得到的词汇表被标记化为子词单元，从而有效表示各种URL模式。
• 将学习得到的位置嵌入添加到标记嵌入中，以保持序列顺序，这对检测URL中的混淆模式至关重要。
• 模型在结合PhishTank和UNB钓鱼URL数据集的训练数据集上，使用交叉熵损失进行端到端训练。
• 在[CLS]标记表示上应用前馈网络头，生成二分类输出（恶意/良性）。
• 模型训练使用Adam优化器，配合余弦退火学习率衰减和早停策略，以防止在验证集上过拟合。

实验结果

研究问题

• RQ1 与经典机器学习模型相比，基于Transformer的架构是否能在钓鱼URL检测中实现更优性能？
• RQ2 Transformer中的注意力机制如何提升对混淆或视觉欺骗性URL的检测能力？
• RQ3 所提出模型在准确率、精确率、召回率和F1分数等关键指标上的相对表现如何？
• RQ4 该模型是否能很好地泛化到训练数据中未出现过的、现实世界中的钓鱼URL？
• RQ5 该模型能否在保持高性能的同时保持轻量化，适合实时部署？

主要发现

• 所提出的Transformer模型在测试集上达到97.3%的准确率，优于所有六种经典模型（决策树、随机森林、多层感知机、XGBoost、SVM、自编码器）在各项评估指标中的表现。
• 模型的精确率为98.4%，召回率为96.2%，F1分数为97.3%，表明在减少假阳性和假阴性方面具有良好的平衡。
• 在七种模型中，Transformer模型的F1分数最高，表明其在精确率与召回率之间实现了最佳综合平衡。
• 混淆矩阵确认了高真正的阳性率和真正的阴性率，测试集中仅有19个假阳性与21个假阴性。
• 与表现第二好的模型（随机森林）相比，该模型在准确率上高出12.4个百分点，在F1分数上高出15.0个百分点。
• 结果验证了自注意力机制能够有效捕捉恶意URL中的结构与语法模式，即使在经过混淆处理后依然有效。