[论文解读] Detecting Malicious URLs of COVID-19 Pandemic using ML technologies

Jamil Ispahany, Rafiqul Islam|arXiv (Cornell University)|Sep 19, 2020

Spam and Phishing Detection参考文献 17被引用 4

一句话总结

本文提出了一种基于机器学习的方法，通过利用预处理的开源数据和特征工程（包括熵计算），检测与新冠疫情相关的恶意URL。该模型通过引入警惕性恶意威胁加权机制，提升了检测准确率，展现出在疫情相关网络威胁中实现早期缓解的强劲潜力。

ABSTRACT

Throughout the COVID-19 outbreak, malicious attacks have become more pervasive and damaging than ever. Malicious intruders have been responsible for most cybercrimes committed recently and are the cause for a growing number of cyber threats, including identity and IP thefts, financial crimes, and cyber-attacks to critical infrastructures. Machine learning (ML) has proven itself as a prominent field of study over the past decade by solving many highly complex and sophisticated real-world problems. This paper proposes an ML-based classification technique to detect the growing number of malicious URLs, due to the COVID-19 pandemic, which is currently considered a threat to IT users. We have used a large volume of Open Source data and preprocessed it using our developed tool to generate feature vectors and we trained the ML model using the apprehensive malicious threat weight. Our ML model has been tested, with and without entropy to forecast the threatening factors of COVID-19 URLs. The empirical evidence proves our methods to be a promising mechanism to mitigate COVID-19 related threats early in the attack lifecycle.

研究动机与目标

• 为应对利用新冠疫情加剧的网络攻击浪潮，通过恶意URL进行检测。
• 开发一种机器学习模型，能够区分与疫情相关的恶意URL与良性URL。
• 通过在特征表示中整合熵和一种新颖的警惕性恶意威胁权重，提升检测准确率。
• 评估模型在有无熵的情况下的性能，以衡量其对伪装技术预测的影响。
• 提供一种可扩展、数据驱动的解决方案，用于早期检测与疫情相关的网络威胁。

提出的方法

• 作者使用自研工具收集并预处理了大量开源数据，以提取URL特征。
• 基于URL的结构和统计特性（包括字符频率、长度和特殊字符）生成特征向量。
• 通过计算熵来衡量随机性，以识别混淆或可疑的URL。
• 使用警惕性恶意威胁权重训练机器学习模型，以优先处理高风险模式。
• 通过有无熵的对比评估模型，以衡量其对混淆技术的敏感性。
• 分类流程结合了预处理、特征提取和监督学习，以检测恶意URL。

实验结果

研究问题

• RQ1 机器学习模型在检测与新冠疫情相关的恶意URL方面效果如何？
• RQ2 引入熵在识别伪装恶意URL方面有多大提升作用？
• RQ3 警惕性恶意威胁权重在识别高风险URL方面如何提升模型性能？
• RQ4 模型在有无熵的情况下对疫情相关恶意URL的分类性能有何对比？
• RQ5 所提出的方法是否能够在网络攻击初期阶段实现恶意URL的早期检测？

主要发现

• 所提出的机器学习模型在检测与新冠疫情相关的恶意URL方面表现出更高的检测准确率。
• 引入熵显著增强了模型识别混淆和可疑URL的能力。
• 警惕性恶意威胁权重有助于更优地优先处理高风险URL模式。
• 模型表现出强劲的实证性能，显示出在疫情相关网络威胁中实现早期缓解的潜力。
• 结果表明，结合熵和威胁加权的特征工程可提升检测的可靠性。
• 该方法展现出可扩展性，并具备集成到实时安全系统中的潜力。