[论文解读] Cyber Attack Detection thanks to Machine Learning Algorithms

Antoine Delplace, Sheryl Hermoso+1 more|arXiv (Cornell University)|Jan 17, 2020

Network Security and Intrusion Detection参考文献 23被引用 10

一句话总结

本文提出一种基于机器学习的方法，利用NetFlow数据检测网络流量中的僵尸网络，提取22个特征并应用监督学习算法。随机森林分类器在13种场景中的8种中实现超过95%的检测准确率，并在最具有挑战性的场景中通过自助采样数据增强技术将准确率提升至55%以上。

ABSTRACT

Cybersecurity attacks are growing both in frequency and sophistication over the years. This increasing sophistication and complexity call for more advancement and continuous innovation in defensive strategies. Traditional methods of intrusion detection and deep packet inspection, while still largely used and recommended, are no longer sufficient to meet the demands of growing security threats. As computing power increases and cost drops, Machine Learning is seen as an alternative method or an additional mechanism to defend against malwares, botnets, and other attacks. This paper explores Machine Learning as a viable solution by examining its capabilities to classify malicious traffic in a network. First, a strong data analysis is performed resulting in 22 extracted features from the initial Netflow datasets. All these features are then compared with one another through a feature selection process. Then, our approach analyzes five different machine learning algorithms against NetFlow dataset containing common botnets. The Random Forest Classifier succeeds in detecting more than 95% of the botnets in 8 out of 13 scenarios and more than 55% in the most difficult datasets. Finally, insight is given to improve and generalize the results, especially through a bootstrapping technique.

研究动机与目标

• 解决传统基于签名和基于行为的入侵检测系统在检测不断演化的僵尸网络时的局限性。
• 探索机器学习作为可扩展且保护隐私的实时网络攻击检测替代方案，利用NetFlow数据。
• 通过特征工程和数据增强，提高对低频或复杂僵尸网络行为的检测准确率。
• 比较多种机器学习算法，识别在检测网络流量中僵尸网络时最有效的模型。
• 通过稳健的特征选择和模型调优，实现对多样化僵尸网络类型和网络条件的检测性能泛化。

提出的方法

• 使用时间窗口聚合方法从CTU-13 NetFlow数据集中提取22个网络特征，以捕捉时间上的流量模式。
• 应用过滤法、包装法和嵌入法特征选择技术，识别对僵尸网络检测最具区分性的特征。
• 训练并评估五种监督学习模型：逻辑回归、支持向量机（SVM）、随机森林、梯度提升和全连接神经网络。
• 在具有挑战性的场景中，使用自助采样技术增强数据量不足的训练数据，以提高模型泛化能力和检测率。
• 通过50次随机测试集划分的统计分析，验证模型在低数据量环境下的鲁棒性和可靠性。
• 使用精确率、召回率和F1-score评估模型，以平衡检测性能与误报率。

实验结果

研究问题

• RQ1 机器学习模型能否在多样化僵尸网络类型中，以高精确率和高召回率有效检测NetFlow数据中的僵尸网络流量？
• RQ2 在数据代表性不足和复杂性不同的情况下，不同机器学习算法在检测僵尸网络方面的表现如何比较？
• RQ3 通过自助采样进行数据增强，在僵尸网络样本稀少或不具代表性的场景中，能在多大程度上提升检测性能？
• RQ4 从NetFlow中提取的哪些网络特征对僵尸网络活动最具预测性，它们如何贡献于模型性能？
• RQ5 无监督学习或替代深度学习架构（如LSTM）是否能在最具有挑战性的检测场景中进一步提升检测效果？

主要发现

• 在13种测试场景中的8种中，随机森林分类器的F1得分超过95%，表明其在多样化僵尸网络类型上具有强大的泛化能力。
• 在最具挑战性的场景（4、5、7、11、12）中，经过自助采样数据增强后，随机森林的检测性能F1得分仍保持在55%以上。
• 在低数据量场景中，逻辑回归和全连接神经网络模型表现较差，部分僵尸网络（如Sogou和NSIS.ay）的F1得分低于0.10。
• 梯度提升模型表现接近随机森林，尤其在数据代表性较高的场景中表现优异，如Virut（测试集F1 = 0.73）。
• 经过自助采样后，场景4的F1得分达到0.75，场景12的F1得分达到0.54，表明在困难场景中检测性能得到部分改善。
• 通过对50次随机测试集划分的统计分析，确认模型性能稳定且可复现，支持结果的可靠性。