[论文解读] Breaking Bad: Detecting malicious domains using word segmentation

Wei Wang, Kenneth E. Shirley|arXiv (Cornell University)|Jun 12, 2015

Spam and Phishing Detection参考文献 12被引用 24

一句话总结

该论文提出了一种轻量级、可解释的恶意域名检测方法，通过在域名中应用词分割技术，显著提升了仅依赖传统词汇特征时的检测准确率。通过识别域名字符串中的有意义子词（如 'free' 或 'login'），该方法提高了AUC性能，并实现了近乎实时的分析，无需复杂的特征工程或外部数据源。

ABSTRACT

In recent years, vulnerable hosts and maliciously registered domains have been frequently involved in mobile attacks. In this paper, we explore the feasibility of detecting malicious domains visited on a cellular network based solely on lexical characteristics of the domain names. In addition to using traditional quantitative features of domain names, we also use a word segmentation algorithm to segment the domain names into individual words to greatly expand the size of the feature set. Experiments on a sample of real-world data from a large cellular network show that using word segmentation improves our ability to detect malicious domains relative to approaches without segmentation, as measured by misclassification rates and areas under the ROC curve. Furthermore, the results are interpretable, allowing one to discover (with little supervision or tuning required) which words are used most often to attract users to malicious domains. Such a lightweight approach could be performed in near-real time when a device attempts to visit a domain. This approach can complement (rather than substitute) other more expensive and time-consuming approaches to similar problems that use richer feature sets.

研究动机与目标

• 为应对移动攻击中日益增长的恶意域名威胁。
• 仅使用域名的词汇特征来提升恶意域名的检测能力。
• 探究词分割是否能增强恶意域名检测的特征表示。
• 开发一种轻量级、近乎实时的检测方法，以补充现有计算资源消耗较高的方法。
• 实现对恶意域名中高频使用词汇的可解释性识别。

提出的方法

• 应用词分割算法将域名分解为有意义的子词（例如，'freeshipping.com' 中的 'free'）。
• 通过将分割后的词汇作为额外的词汇特征，扩展特征集。
• 将分割后的特征与传统的定量特征（如长度、熵和字符分布）相结合。
• 在扩展的特征集上训练机器学习分类器（如SVM或随机森林），以区分恶意与良性域名。
• 利用模型识别出对恶意意图最具预测性的分割词汇。
• 在真实世界蜂窝网络数据上验证该方法，以评估其性能与可解释性。

实验结果

研究问题

• RQ1 与仅使用传统词汇特征相比，域名的词分割是否能提升恶意域名的检测效果？
• RQ2 引入分割词汇后，恶意域名检测模型的误分类率与AUC有何变化？
• RQ3 该模型在多大程度上能够识别并解释恶意域名中使用的语言模式？
• RQ4 该方法能否在计算开销极小的前提下实现实时部署？
• RQ5 在实际网络环境中，该分割方法的性能与非分割基线方法相比如何？

主要发现

• 引入词分割显著提升了检测性能，相比无分割的模型，误分类率明显降低。
• 该方法的ROC曲线下方面积（AUC）高于仅使用定量域名特征的基线方法。
• 模型成功识别出恶意域名中常出现的高频词汇，如 'free'、'login' 和 'account'，体现出良好的可解释性。
• 该方法实现了近乎实时分析，适用于在实际网络环境中部署。
• 该技术所需监督极少且超参数调优简单，显著提升了其在实际运维中的实用性。
• 该方法与更复杂的检测系统相辅相成，而非取代后者；后者依赖更丰富、计算成本更高的特征。