[论文解读] An Evasion and Counter-Evasion Study in Malicious Websites Detection

Li Xu, Zhenxin Zhan+2 more|arXiv (Cornell University)|Aug 8, 2014

Spam and Phishing Detection参考文献 6被引用 18

一句话总结

本文提出了一种基于决策树分类器的框架，用于建模针对恶意网站检测系统的自适应逃避攻击，其中攻击者通过操纵网站特征来规避检测。研究证明，主动训练——即防御者在预见到攻击者适应行为时重新训练模型——能显著提高检测准确率，尤其当防御者采用完整适应策略来应对攻击者时效果更明显。

ABSTRACT

Malicious websites are a major cyber attack vector, and effective detection of them is an important cyber defense task. The main defense paradigm in this regard is that the defender uses some kind of machine learning algorithms to train a detection model, which is then used to classify websites in question. Unlike other settings, the following issue is inherent to the problem of malicious websites detection: the attacker essentially has access to the same data that the defender uses to train its detection models. This 'symmetry' can be exploited by the attacker, at least in principle, to evade the defender's detection models. In this paper, we present a framework for characterizing the evasion and counter-evasion interactions between the attacker and the defender, where the attacker attempts to evade the defender's detection models by taking advantage of this symmetry. Within this framework, we show that an adaptive attacker can make malicious websites evade powerful detection models, but proactive training can be an effective counter-evasion defense mechanism. The framework is geared toward the popular detection model of decision tree, but can be adapted to accommodate other classifiers.

研究动机与目标

• 研究攻击者如何利用数据访问对称性来规避基于机器学习的恶意网站检测系统。
• 构建一个用于建模自适应攻击者与防御者在网站检测中动态交互的框架。
• 评估主动训练作为应对自适应逃避攻击的对策的有效性。
• 识别哪些网站特征最容易被操纵且具有较高的安全重要性。
• 在对攻击者适应行为不确定的情况下，确定最优的防御者策略。

提出的方法

• 形式化定义了攻击者与防御者之间的逃避与反逃避框架，假设双方均可访问相同的训练数据。
• 建模自适应攻击，即攻击者通过修改网站特征（如URL长度、脚本数量等）来规避检测，并基于防御者的检测逻辑重新训练模型。
• 提出主动训练：防御者在预见到攻击者适应行为的前提下，通过完整、顺序或部分适应等策略，迭代式地重新训练检测模型。
• 使用J48决策树分类器，基于包含124,000个网站、124个特征（105个应用层特征，19个网络层特征）的40天数据集进行训练。
• 在不同攻击者适应水平（α）和防御者主动水平（γ）下评估检测准确率，比较完整、顺序和部分适应等策略的表现。
• 采用特征重要性分析，识别出最容易被操纵且最可能导致误分类的特征。

实验结果

研究问题

• RQ1 在攻击者与防御者对训练数据具有对称访问权限的前提下，自适应攻击者是否能通过操纵网站特征成功逃避强大的检测模型？
• RQ2 主动训练在应对不同攻击者适应策略的自适应逃避攻击时，其有效性如何？
• RQ3 最容易被操纵的特征是否与标准特征选择算法所选特征一致？
• RQ4 当攻击者行为不确定时，完整适应策略是否是防御者的稳健均衡策略？
• RQ5 防御者的主动水平（γ）与攻击者的适应水平（α）如何共同影响检测准确率？

主要发现

• 即使检测模型本身非常强大，自适应攻击者仍能通过操纵网站特征成功逃避非主动检测模型。
• 主动训练能显著提高检测准确率，尤其当防御者的主动水平（γ）超过攻击者的适应水平（α）时，准确率在γ−α=0时有显著提升。
• 主动训练模型的检测准确率随训练迭代次数（γ）增加而提高，表明更频繁的重新训练可增强模型的鲁棒性。
• 完整适应策略对防御者最为有效，因为它能最小化对攻击者行为不确定性的敏感性，并在不同攻击者策略下保持一致的性能表现。
• 具有高安全重要性的特征——即其操纵会导致误分类的特征——与标准特征选择算法选出的特征大不相同，表明需要采用领域特定的学习方法。
• 当防御者采用完整适应策略时，检测准确率不受攻击者适应水平的影响，表现出高度稳定性和战略优势。