[论文解读] Explaining Machine Learning DGA Detectors from DNS Traffic Data

Giorgio Piras, Maura Pintor+2 more|arXiv (Cornell University)|Aug 10, 2022

Network Security and Intrusion Detection被引用 4

一句话总结

本文提出了一套全面的可解释人工智能框架，用于基于机器学习的DNS流量中DGA（域名生成算法）检测，采用全局和局部可解释性技术解码模型决策。在新数据集上重新实现了EXPOSURE系统，表明特征重要性因模型而异，并揭示了对调试和信任至关重要的上下文依赖性偏差。

ABSTRACT

One of the most common causes of lack of continuity of online systems stems from a widely popular Cyber Attack known as Distributed Denial of Service (DDoS), in which a network of infected devices (botnet) gets exploited to flood the computational capacity of services through the commands of an attacker. This attack is made by leveraging the Domain Name System (DNS) technology through Domain Generation Algorithms (DGAs), a stealthy connection strategy that yet leaves suspicious data patterns. To detect such threats, advances in their analysis have been made. For the majority, they found Machine Learning (ML) as a solution, which can be highly effective in analyzing and classifying massive amounts of data. Although strongly performing, ML models have a certain degree of obscurity in their decision-making process. To cope with this problem, a branch of ML known as Explainable ML tries to break down the black-box nature of classifiers and make them interpretable and human-readable. This work addresses the problem of Explainable ML in the context of botnet and DGA detection, which at the best of our knowledge, is the first to concretely break down the decisions of ML classifiers when devised for botnet/DGA detection, therefore providing global and local explanations.

研究动机与目标

• 解决基于机器学习的DGA和僵尸网络检测系统中可解释性不足的问题，该问题阻碍了调试、部署和信任建立。
• 为用于DGA检测的机器学习分类器提供全局和局部解释，以提高模型透明度和人类可读性。
• 研究不同分类器在特征选择和优先级排序上的差异，揭示模型特有的决策模式。
• 分析部署环境对特征相关性和模型行为的影响，突出真实环境中潜在的偏差。
• 使安全分析师能够理解模型决策，检测误分类，并通过可解释性提高系统的鲁棒性。

提出的方法

• 在新收集的DNS流量数据集上重新实现EXPOSURE系统，以确保可复现性和上下文相关性。
• 从DNS数据包中提取了全面的特征集，包括基于时间的特征、基于DNS响应的特征、基于TTL值的特征以及基于名称的特征。
• 训练了多种机器学习分类器（如XGBoost、随机森林、SVM），并比较其在DGA检测中的性能。
• 应用SHAP（SHapley Additive exPlanations）实现全局和局部可解释性，以分析特征对预测的贡献。
• 对不同模型中特征使用情况的统计分析，以识别优先级模式和潜在偏差。
• 在不同部署环境下评估模型行为，以评估特征敏感性和决策鲁棒性。

实验结果

研究问题

• RQ1 不同机器学习分类器在DGA检测中如何优先选择特征，这对模型可解释性有何影响？
• RQ2 当应用于相同的DNS流量数据时，特征重要性模式在不同模型之间有多大差异？
• RQ3 SHAP生成的局部解释在现实部署中如何帮助识别和调试误分类的DGA样本？
• RQ4 当模型在不同网络环境中进行训练和部署时，特征相关性中会浮现何种上下文偏差？
• RQ5 全局和局部可解释性技术在多大程度上能提升基于机器学习的DGA检测器的信任度、公平性和可维护性？

主要发现

• 不同分类器为DGA检测优先选择不同的特征集合，表明模型选择显著影响决策模式。
• EXPOSURE特征集在多种分类器中表现出色，其中基于名称的特征和基于TTL值的特征显示出较高的预测重要性。
• 基于SHAP的局部解释成功识别出导致误分类的具体DNS查询和特征，实现了针对性的调试。
• 特征相关性具有上下文依赖性，某些特征（如TTL统计）在高流量波动环境中可靠性下降。
• 全局解释显示，模型通常依赖于一小部分特征，尤其是与域名名称熵和DNS响应模式相关的特征，这在对抗性环境中限制了鲁棒性。
• 本研究证明，可解释性能够增强模型信任度，并支持将模型集成到安全流水线中，实现持续监控与优化。