[论文解读] Elephant Flows Detection Using Deep Neural Network, Convolutional Neural Network, Long Short Term Memory and Autoencoder

Getahun Wassie Geremew, Jianguo Ding|arXiv (Cornell University)|Jun 6, 2023

Internet Traffic Analysis and Secure E-voting被引用 4

一句话总结

本文提出了一种基于深度学习的动态流量分类器，采用DNN、CNN、LSTM和自编码器模型检测高带宽网络流（即大象流）——这些流会导致网络拥塞。所提模型实现了高达99.12%的准确率和0.13的低重建损失，证明了其在无需标注数据的情况下有效识别带宽占用大户流量的能力，尤其通过自编码器的无监督方法表现突出。

ABSTRACT

Currently, the wide spreading of real-time applications such as VoIP and videos-based applications require more data rates and reduced latency to ensure better quality of service (QoS). A well-designed traffic classification mechanism plays a major role for good QoS provision and network security verification. Port-based approaches and deep packet inspections (DPI) techniques have been used to classify and analyze network traffic flows. However, none of these methods can cope with the rapid growth of network traffic due to the increasing number of Internet users and the growth of real time applications. As a result, these methods lead to network congestion, resulting in packet loss, delay and inadequate QoS delivery. Recently, a deep learning approach has been explored to address the time-consumption and impracticality gaps of the above methods and maintain existing and future traffics of real-time applications. The aim of this research is then to design a dynamic traffic classifier that can detect elephant flows to prevent network congestion. Thus, we are motivated to provide efficient bandwidth and fast transmision requirements to many Internet users using SDN capability and the potential of Deep Learning. Specifically, DNN, CNN, LSTM and Deep autoencoder are used to build elephant detection models that achieve an average accuracy of 99.12%, 98.17%, and 98.78%, respectively. Deep autoencoder is also one of the promising algorithms that does not require human class labeler. It achieves an accuracy of 97.95% with a loss of 0.13 . Since the loss value is closer to zero, the performance of the model is good. Therefore, the study has a great importance to Internet service providers, Internet subscribers, as well as for future researchers in this area.

研究动机与目标

• 为解决高带宽实时应用（如VoIP和视频流媒体）中因大象流导致的网络拥塞问题。
• 克服传统端口基于和DPI方法的局限性，这些方法在高网络流量和可扩展性方面面临挑战。
• 设计一种基于深度学习的动态、可扩展的流量分类系统，以提升服务质量（QoS）和网络安全。
• 评估多种深度学习架构（DNN、CNN、LSTM和自编码器）在大象流检测中的表现。
• 探索通过自编码器实现无监督学习，以消除对人工标注数据的依赖。

提出的方法

• 本研究采用四种深度学习模型：深度神经网络（DNN）、卷积神经网络（CNN）、长短期记忆网络（LSTM）和深度自编码器，用于大象流检测。
• 输入特征源自网络流统计量，如数据包数量、字节数量和流持续时间，用于模型训练。
• DNN、CNN和LSTM模型采用有监督方式训练，使用标注的大象流数据。
• 自编码器模型采用无监督方式训练，以重建正常流，重建误差较高则表明为大象流。
• 通过准确率和重建损失评估模型性能，其中自编码器的性能通过其基于重建误差检测异常的能力来衡量。
• 在真实世界网络数据集上评估模型，以评估其在真实环境下的检测能力。

实验结果

研究问题

• RQ1 深度学习模型能否在高流量、实时网络流量中有效检测大象流？
• RQ2 不同深度学习架构（DNN、CNN、LSTM和自编码器）在检测准确率和效率方面如何比较？
• RQ3 无监督的自编码器模型能否在无需标注训练数据的情况下检测大象流？
• RQ4 重建损失对自编码器识别高带宽流的能力有何影响？
• RQ5 在动态网络条件下，这些模型在保持低延迟和高准确率方面表现如何？

主要发现

• DNN模型达到最高检测准确率99.12%，表现出在分类大象流方面的强大性能。
• CNN模型达到98.17%的准确率，表明其在捕捉流特征空间模式方面具有有效性。
• LSTM模型达到98.78%的准确率，凸显其在建模网络流时间依赖性方面的优势。
• 自编码器模型达到97.95%的准确率，重建损失低至0.13，表明其在无监督异常检测方面表现优异。
• 较低的重建损失值（0.13）证实自编码器模型能有效学习正常流模式，并将偏差识别为大象流。
• 本研究证实，深度学习模型（尤其是自编码器）为无需依赖标注数据的实时大象流检测提供了可扩展且高效的解决方案。