[论文解读] Cellular Traffic Prediction with Recurrent Neural Network

Shan Jaffry|arXiv (Cornell University)|Mar 5, 2020

Traffic Prediction and Management Techniques参考文献 18被引用 4

一句话总结

本文提出一种基于长短期记忆（LSTM）循环神经网络的蜂窝网络流量预测方法，并与ARIMA和前馈神经网络（FFNN）进行对比。结果表明，LSTM在预测精度方面表现更优，且收敛速度显著更快，尤其在小样本数据集上，使其成为未来6G网络中实时、高效数据利用的流量预测的理想选择。

ABSTRACT

Autonomous prediction of traffic demand will be a key function in future cellular networks. In the past, researchers have used statistical methods such as Autoregressive integrated moving average (ARIMA) to provide traffic predictions. However, ARIMA based predictions fail to give an exact and accurate forecast for dynamic input quantities such as cellular traffic. More recently, researchers have started to explore deep learning techniques, such as, recurrent neural networks (RNN) and long-short-term-memory (LSTM) to autonomously predict future cellular traffic. In this research, we have designed a LSTM based cellular traffic prediction model. We have compared the LSTM based prediction with the base line ARIMA model and vanilla feed-forward neural network (FFNN). The results show that LSTM and FFNN accurately predicted future cellular traffic. However, it was found that LSTM train the prediction model in much shorter time as compared to FFNN. Hence, we conclude that LSTM models can be effectively even used with small amount of training data which will allow to timely predict future cellular traffic.

研究动机与目标

• 解决传统统计模型（如ARIMA）在预测高度动态蜂窝网络流量模式方面的局限性。
• 评估深度学习模型（特别是LSTM和FFNN）与ARIMA在蜂窝网络流量预测中的性能表现。
• 评估LSTM和FFNN在不同规模训练数据下的训练效率与预测精度。
• 证明LSTM可在极小规模训练数据下实现高精度预测，从而支持及时的网络资源优化。

提出的方法

• 该研究实现了一个包含两层隐藏层的LSTM模型：第一层为50个LSTM单元，第二层为单神经元的全连接层。
• 模型采用标准LSTM单元架构，包含遗忘门、输入门和输出门，激活函数使用Sigmoid和Tanh函数。
• 核心公式包括：遗忘门 $\Gamma_f^t = \sigma(W_f[a^{t-1}, X^t] + b_f)$，输入门 $\Gamma_u^t = \varphi(W_u[a^{t-1}, X^t] + b_u)$，输出门 $\Gamma_o^t = \sigma(W_o[a^{t-1}, X^t] + b_o)$。
• 细胞状态通过 $C^t = \Gamma_f^t \ast C^{t-1} + \Gamma_u^t \ast \varphi(C_u^t)$ 更新，隐藏状态计算公式为 $a^t = \Gamma_o^t \ast \varphi(C^t)$。
• 最终输出通过 $y^t = \sigma(W_y a^t + b_y)$ 生成，使用平均绝对误差计算训练和验证损失。
• 所有模型均使用真实世界的通话详单记录（CDR）数据进行训练与评估，训练在Python中使用Keras和TensorFlow完成，数据预处理在MATLAB中进行。

实验结果

研究问题

• RQ1 基于LSTM的模型能否在预测蜂窝网络流量模式方面优于传统ARIMA模型？
• RQ2 在相同训练条件下，LSTM的预测精度与普通前馈神经网络（FFNN）相比如何？
• RQ3 当训练数据规模减小时，模型性能如何变化，特别是在收敛速度和预测精度方面？
• RQ4 LSTM能否在极小规模训练数据下实现高精度预测，从而适用于实时网络规划？

主要发现

• LSTM与FFNN均实现了高精度预测，在所有训练集规模下均与真实值数据高度吻合。
• 当使用中等规模训练集（7142个样本）时，LSTM仅用2个周期即收敛至接近零的训练与验证误差，而FFNN则需超过10个周期。
• 当训练集减少至3571个样本时，LSTM仍保持高精度预测，并在5个周期内收敛至零误差，而FFNN需超过10个周期且误差更高。
• 当训练数据进一步减少至892个样本时，FFNN性能显著下降，即使在20个周期后误差仍居高不下，而LSTM保持高精度预测，误差成功收敛至零。
• ARIMA模型提供了合理的基线，但未能精确匹配真实数据中观察到的复杂、动态的流量模式。
• LSTM展现出卓越的训练效率与对小规模训练数据的鲁棒性，因此特别适合用于实时、数据受限的蜂窝网络流量预测。