[论文解读] Anomaly Detection in Cybersecurity: Unsupervised, Graph-Based and Supervised Learning Methods in Adversarial Environments.

David Bierbrauer, Alexander Chang+2 more|arXiv (Cornell University)|May 14, 2021

Network Security and Intrusion Detection参考文献 17被引用 5

一句话总结

本文提出了一种用于对抗性网络安全环境中的异常检测的两级监督堆叠集成模型，结合三种基础分类器与元分类器（朴素贝叶斯或决策树）。该方法在恶意样本上的F1得分超过0.97，且保持了高鲁棒性，其中决策树元分类器的AUC达到0.98。

ABSTRACT

Machine learning for anomaly detection has become a widely researched field in cybersecurity. Inherent to today's operating environment is the practice of adversarial machine learning, which attempts to circumvent machine learning models. In this work, we examine the feasibility of unsupervised learning and graph-based methods for anomaly detection in the network intrusion detection system setting, as well as leverage an ensemble approach to supervised learning of the anomaly detection problem. We incorporate a realistic adversarial training mechanism when training our supervised models to enable strong classification performance in adversarial environments. Our results indicate that the unsupervised and graph-based methods were outperformed in detecting anomalies (malicious activity) by the supervised stacking ensemble method with two levels. This model consists of three different classifiers in the first level, followed by either a Naive Bayes or Decision Tree classifier for the second level. We see that our model maintains an F1-score above 0.97 for malicious samples across all tested level two classifiers. Notably, Naive Bayes is the fastest level two classifier averaging 1.12 seconds while Decision Tree maintains the highest AUC score of 0.98.

研究动机与目标

• 评估无监督和基于图的异常检测方法在对抗性网络入侵检测环境中的有效性。
• 设计并实现一种监督堆叠集成模型，以在对抗性条件下提升分类性能。
• 引入一种真实的对抗性训练机制，以提高模型对逃避攻击的鲁棒性。
• 比较不同元分类器在集成模型中的性能表现，重点关注F1得分、AUC和推理速度。

提出的方法

• 所提出的方法采用两级堆叠集成：第一级包含三个基础分类器，第二级采用元分类器（朴素贝叶斯或决策树）。
• 在监督模型训练阶段集成对抗性训练，以模拟并应对潜在的逃避攻击。
• 模型利用第一级分类器的预测结果作为元分类器的输入特征，以提升最终的异常分类性能。
• 集成方法结合了多种基础模型，以增强在检测恶意网络活动时的泛化能力和鲁棒性。
• 性能通过F1得分和AUC进行评估，同时测量推理速度的执行时间。
• 该方法在真实对抗性环境下的网络入侵检测系统设置中进行了测试。

实验结果

研究问题

• RQ1 无监督和基于图的异常检测方法与监督集成模型在对抗性网络入侵检测中相比如何？
• RQ2 对抗性训练能否提升监督模型在检测恶意网络活动方面的鲁棒性？
• RQ3 不同元分类器（朴素贝叶斯与决策树）对堆叠集成模型的性能和速度有何影响？
• RQ4 所提出的集成模型在对抗性环境中可达到的F1得分和AUC水平如何？
• RQ5 不同元分类器下，集成模型的推理速度表现如何？

主要发现

• 监督堆叠集成模型在检测恶意网络活动方面优于无监督和基于图的方法。
• 所有测试的元分类器下，集成模型对恶意样本的F1得分均保持在0.97以上。
• 朴素贝叶斯元分类器实现了最快的推理时间，平均为1.12秒。
• 决策树元分类器实现了最高的AUC得分0.98。
• 由于在监督学习阶段集成了对抗性训练，该集成模型表现出强大的鲁棒性。
• 结果证实，结合对抗性训练的集成学习能显著提升在对抗性网络安全环境中的检测性能。