[论文解读] A Long Short-Term Memory Recurrent Neural Network Framework for Network Traffic Matrix Prediction

Abdelhadi Azzouni, Guy Pujolle|arXiv (Cornell University)|May 16, 2017

Internet Traffic Analysis and Secure E-voting参考文献 1被引用 160

一句话总结

论文提出了一种基于 LSTM 的 RNN 框架，利用滑动学习窗口和真实世界数据，在大规模网络中预测网络流量矩阵，显示出快速收敛性和在小模型下优于传统方法的精度。

ABSTRACT

Network Traffic Matrix (TM) prediction is defined as the problem of estimating future network traffic from the previous and achieved network traffic data. It is widely used in network planning, resource management and network security. Long Short-Term Memory (LSTM) is a specific recurrent neural network (RNN) architecture that is well-suited to learn from experience to classify, process and predict time series with time lags of unknown size. LSTMs have been shown to model temporal sequences and their long-range dependencies more accurately than conventional RNNs. In this paper, we propose a LSTM RNN framework for predicting short and long term Traffic Matrix (TM) in large networks. By validating our framework on real-world data from GEANT network, we show that our LSTM models converge quickly and give state of the art TM prediction performance for relatively small sized models.

研究动机与目标

• 动机：为网络规划、资源管理和异常检测提供准确的短期流量矩阵预测。
• 目标：开发一个能够高效预测大规模网络中流量矩阵的 LSTM RNN 框架。
• 目标：在真实世界的骨干网络数据上展示快速收敛和高预测精度。
• 方法：利用 OD 流量的时序相关性来提升相对于线性和前馈神经网络方法的预测质量。

提出的方法

• 通过将每个 TM Yt 的行连接成一个流量向量来将其转换为向量 Xt。
• 使用滑动学习窗口 W 构建一个历史学习矩阵 M，其大小为 W×N^2，以实现连续预测。
• 使用准备好的数据训练 LSTM RNN，以预测下一个流量向量 Xt。
• 在来自 GÉANT 的真实数据集上使用均方误差 (MSE) 评估预测性能。
• 将 LSTM 的性能与线性预测器和前馈神经网络进行比较。

实验结果

研究问题

• RQ1 LSTM RNN 框架是否能够从历史 TM 数据中准确预测大规模流量矩阵？
• RQ2 使用滑动学习窗口是否能够以可管理的计算实现实时或近实时的 TM 预测？
• RQ3 在真实骨干网络数据上，基于 LSTM 的 TM 预测在准确性方面与传统线性模型和 FFNNs 相比如何？

主要发现

• LSTM 模型在 TM 预测任务上快速收敛。
• 基于 LSTM 的 TM 预测在相对较小的模型规模下达到最先进的精度。
• 在所评估的数据上，该方法远超传统线性预测器和 FFNNs。
• 使用滑动窗口的预测实现了连续、近实时的预测，计算时间在可行范围内。