[论文解读] Machine Learning based Anomaly Detection for 5G Networks

Jordan Lam, Hassan Abbas|arXiv (Cornell University)|Jan 1, 2020

Network Security and Intrusion Detection参考文献 11被引用 23

一句话总结

本文提出了一种基于神经架构搜索（NAS）优化的卷积神经网络（CNN）的软件定义安全（SDS）框架，用于检测5G网络中的异常网络流量。通过将网络流数据转换为类似图像的表示形式，该模型在识别正常流量方面实现了100%的准确率，在异常检测方面达到了96.4%的检测率，展示了在复杂5G环境中实现自动化、可扩展入侵检测的强大潜力。

ABSTRACT

Protecting the networks of tomorrow is set to be a challenging domain due to increasing cyber security threats and widening attack surfaces created by the Internet of Things (IoT), increased network heterogeneity, increased use of virtualisation technologies and distributed architectures. This paper proposes SDS (Software Defined Security) as a means to provide an automated, flexible and scalable network defence system. SDS will harness current advances in machine learning to design a CNN (Convolutional Neural Network) using NAS (Neural Architecture Search) to detect anomalous network traffic. SDS can be applied to an intrusion detection system to create a more proactive and end-to-end defence for a 5G network. To test this assumption, normal and anomalous network flows from a simulated environment have been collected and analyzed with a CNN. The results from this method are promising as the model has identified benign traffic with a 100% accuracy rate and anomalous traffic with a 96.4% detection rate. This demonstrates the effectiveness of network flow analysis for a variety of common malicious attacks and also provides a viable option for detection of encrypted malicious network traffic.

研究动机与目标

• 为应对由于物联网普及、虚拟化和网络切片导致的5G网络复杂性增加和攻击面扩大问题。
• 利用机器学习开发一种自动化、灵活且可扩展的入侵检测系统，实现对端到端5G网络的保护。
• 评估将网络流数据转换为图像表示形式在基于CNN的异常检测中的有效性。
• 证明利用自动化机器学习（autoML）和NAS设计高性能、领域专用深度学习模型用于网络安全的可行性。

提出的方法

• 从模拟的5G环境中收集了包含正常和异常流量模式的网络流数据。
• 对数据进行预处理，并转换为适合输入卷积神经网络（CNN）的类似图像的表示形式。
• 使用神经架构搜索（NAS）自动生成CNN架构，以在特定数据集上优化模型性能。
• 使用带标签的网络流图像进行监督学习训练模型，并通过精确率、召回率和F1分数等指标评估性能。
• 在测试集上对最终模型进行评估，以检验其在不同攻击类型下的检测准确率和鲁棒性。
• 通过基于检测到的威胁动态更新策略，使系统支持实时部署。

实验结果

研究问题

• RQ1 基于图像化转换的网络流数据训练的CNN能否在5G网络中实现对异常流量的高检测准确率？
• RQ2 NAS在无需人工设计的情况下，生成适用于5G网络异常检测的最优CNN架构有多高效？
• RQ3 基于机器学习的模型在多大程度上能够通过流级别分析检测加密恶意流量？
• RQ4 所提出的SDS框架能否在多样化的5G网络切片和异构架构中提供可扩展且自适应的安全防护？
• RQ5 在正常和恶意流量均庞大的真实场景中，该模型如何在精确率和召回率之间实现平衡？

主要发现

• 该模型对正常流量实现了100%的召回率，正确识别了所有正常流，且无误报。
• 该模型检测到了96.4%的异常流量，异常预测的精确率为100%。
• 异常检测的F1分数为0.982，表明精确率与召回率之间保持了良好平衡。
• 混淆矩阵确认仅有3.6%的异常流被错误分类为正常，而没有任何正常流被错误标记为异常。
• NAS优化的CNN优于基线架构，证明了自动化神经架构搜索在安全应用中的价值。
• 结果表明，将网络流表示为图像形式是5G网络中基于深度学习的异常检测的一种可行且高效的方法。