[论文解读] Anomaly Detection in Emails using Machine Learning and Header Information

Craig Beaman, Haruna Isah|arXiv (Cornell University)|Mar 19, 2022

Spam and Phishing Detection被引用 4

一句话总结

本文提出一种仅使用电子邮件头部信息、无需依赖内容分析的机器学习方法，用于检测网络钓鱼和垃圾邮件。通过监督学习模型（如随机森林和SVM）实现99%的垃圾邮件检测准确率和97%的网络钓鱼检测准确率，同时单类SVM也表现出色，表明仅靠邮件头部信息即可实现高精度异常检测，适用于现实世界中的邮件过滤系统。

ABSTRACT

Anomalies in emails such as phishing and spam present major security risks such as the loss of privacy, money, and brand reputation to both individuals and organizations. Previous studies on email anomaly detection relied on a single type of anomaly and the analysis of the email body and subject content. A drawback of this approach is that it takes into account the written language of the email content. To overcome this deficit, this study conducted feature extraction and selection on email header datasets and leveraged both multi and one-class anomaly detection approaches. Experimental analysis results obtained demonstrate that email header information only is enough to reliably detect spam and phishing emails. Supervised learning algorithms such as Random Forest, SVM, MLP, KNN, and their stacked ensembles were found to be very successful, achieving high accuracy scores of 97% for phishing and 99% for spam emails. One-class classification with One-Class SVM achieved accuracy scores of 87% and 89% with spam and phishing emails, respectively. Real-world email filtering applications will benefit from the use of only the header information in terms of resources utilization and efficiency.

研究动机与目标

• 解决以往仅依赖邮件正文中内容和主题的异常检测方法的局限性，这些方法容易受到基于语言的规避攻击。
• 探究仅使用电子邮件头部信息是否能有效检测垃圾邮件和网络钓鱼异常。
• 比较仅使用头部特征的多分类与单类机器学习模型在异常检测中的性能表现。
• 开发一种轻量级、高效的邮件过滤解决方案，通过避免内容分析降低计算开销。

提出的方法

• 从电子邮件头部数据集中提取并选择相关特征，重点关注发件人、收件人、时间戳和路由信息等元数据。
• 应用多分类与单类异常检测技术，包括随机森林、SVM、多层感知机（MLP）、K近邻（KNN）和单类SVM。
• 使用堆叠集成模型以提升在多样化邮件头部模式下的泛化能力与鲁棒性。
• 执行特征选择以降低维度，提升模型效率，同时保持检测准确率。
• 采用标准评估指标（如准确率）对模型进行评估，重点关注实际应用可行性与低资源消耗。
• 在真实世界邮件头部数据上验证结果，确保方法的实际相关性与可扩展性。

实验结果

研究问题

• RQ1 仅依靠邮件头部信息是否足以实现对垃圾邮件和网络钓鱼邮件的高精度检测，而无需分析内容？
• RQ2 当仅使用邮件头部信息进行异常检测时，多分类与单类机器学习模型在性能上如何比较？
• RQ3 在仅使用头部元数据进行训练的情况下，哪些监督学习算法能实现最高的检测准确率？
• RQ4 单类分类模型在仅使用头部数据的情况下，能在多大程度上检测出新型或未见过的网络钓鱼/垃圾邮件模式？
• RQ5 与基于内容的检测系统相比，所提出的仅头部信息方法在效率和资源使用方面表现如何？

主要发现

• 监督学习模型仅使用邮件头部信息，即可实现99%的垃圾邮件检测准确率和97%的网络钓鱼邮件检测准确率。
• 单类SVM在检测网络钓鱼邮件时达到89%的准确率，垃圾邮件检测为87%，表明其在无监督异常检测场景下也表现优异。
• 仅使用头部数据即可可靠检测出垃圾邮件与网络钓鱼异常，无需进行内容分析。
• 随机森林、SVM与MLP的堆叠集成模型优于单一模型，表明其具备更强的鲁棒性与泛化能力。
• 该方法显著降低了计算开销与资源消耗，适用于实时邮件过滤应用。
• 特征选择在不牺牲检测准确率的前提下提升了模型效率，证实了所选头部特征的相关性。