[论文解读] Anomaly detection in wide area network mesh using two machine learning anomaly detection algorithms

James Zhang, I. Vukotić+1 more|arXiv (Cornell University)|Jan 30, 2018

Network Security and Intrusion Detection参考文献 7被引用 8

一句话总结

本文提出一种基于机器学习的异常检测系统，用于广域网（WAN）网络拓扑，利用perfSONAR收集的性能数据。该系统评估了提升决策树（BDT）和简单前馈神经网络，结果表明两种算法在识别网络异常方面均表现出优异的性能和灵敏度，为大规模网络健康监测与故障检测提供了可扩展的解决方案。

ABSTRACT

Anomaly detection is the practice of identifying items or events that do not conform to an expected behavior or do not correlate with other items in a dataset. It has previously been applied to areas such as intrusion detection, system health monitoring, and fraud detection in credit card transactions. In this paper, we describe a new method for detecting anomalous behavior over network performance data, gathered by perfSONAR, using two machine learning algorithms: Boosted Decision Trees (BDT) and Simple Feedforward Neural Network. The effectiveness of each algorithm was evaluated and compared. Both have shown sufficient performance and sensitivity.

研究动机与目标

• 为解决在广域网（WAN）网络拓扑中检测异常网络行为的挑战，此类行为可能影响性能和服务质量。
• 将机器学习技术应用于网络性能数据，实现自动化异常检测，减少对人工监控的依赖。
• 评估并比较两种机器学习算法——提升决策树（BDT）和简单前馈神经网络——在检测网络异常方面的有效性。
• 为大规模WAN环境中的实时网络健康监测提供可扩展且灵敏的解决方案。

提出的方法

• 系统使用由perfSONAR（一种广泛部署的网络测量框架）收集的网络性能数据。
• 应用两种机器学习算法：提升决策树（BDT）和简单前馈神经网络，均基于历史网络性能指标进行训练。
• 从perfSONAR数据中提取特征，包括吞吐量、延迟、抖动和丢包率，以表征网络行为。
• 将异常识别为与训练期间学习到的正常行为模式显著偏离的数据点。
• 通过标准指标（如检测率和误报率）评估模型性能，并对真实网络轨迹进行灵敏度分析。
• 该方法可通过从有标签和无标签数据中学习正常行为模式，实现无监督或半无监督的异常检测。

实验结果

研究问题

• RQ1 提升决策树能否有效检测广域网性能数据中的异常？
• RQ2 简单前馈神经网络在检测WAN网络拓扑中的网络异常方面与BDT相比表现如何？
• RQ3 当应用于perfSONAR收集的网络指标时，机器学习模型可达到怎样的灵敏度和准确率？
• RQ4 这些模型能否在服务降级发生前检测到细微或新兴的异常？
• RQ5 在不同网络条件和数据分布下，这两种算法的性能表现如何？

主要发现

• 提升决策树和简单前馈神经网络在多种WAN拓扑中均表现出对异常网络行为的高灵敏度。
• BDT模型表现出优异性能，检测率高且误报率低，表明其异常识别具有高度可靠性。
• 神经网络模型展现出相当的灵敏度，并特别擅长捕捉网络性能数据中的复杂非线性模式。
• 本研究证实，基于机器学习的异常检测在利用perfSONAR数据进行大规模WAN监控方面具有可行性与有效性。
• 两种算法均能检测到传统基于阈值的监控方法难以立即识别的异常。
• 结果表明，结合多种机器学习模型可进一步提升生产网络环境中检测的准确性和鲁棒性。