[論文レビュー] Cellular Traffic Prediction with Recurrent Neural Network

Shan Jaffry|arXiv (Cornell University)|Mar 5, 2020

Traffic Prediction and Management Techniques参考文献 18被引用数 4

ひとこと要約

本稿では、ARIMAおよびフィードフォワードニューラルネットワーク（FFNN）と比較して、細胞通信トラフィック予測のための長短期記憶（LSTM）再帰的ニューラルネットワークを提案する。結果として、LSTMは顕著に高速な収束を示し、特に小規模データセットにおいて高い予測精度を達成しており、将来的な6Gネットワークにおけるリアルタイムでデータ効率の良いトラフィック予測に最適であることが示された。

ABSTRACT

Autonomous prediction of traffic demand will be a key function in future cellular networks. In the past, researchers have used statistical methods such as Autoregressive integrated moving average (ARIMA) to provide traffic predictions. However, ARIMA based predictions fail to give an exact and accurate forecast for dynamic input quantities such as cellular traffic. More recently, researchers have started to explore deep learning techniques, such as, recurrent neural networks (RNN) and long-short-term-memory (LSTM) to autonomously predict future cellular traffic. In this research, we have designed a LSTM based cellular traffic prediction model. We have compared the LSTM based prediction with the base line ARIMA model and vanilla feed-forward neural network (FFNN). The results show that LSTM and FFNN accurately predicted future cellular traffic. However, it was found that LSTM train the prediction model in much shorter time as compared to FFNN. Hence, we conclude that LSTM models can be effectively even used with small amount of training data which will allow to timely predict future cellular traffic.

研究の動機と目的

• 従来の統計モデル（ARIMAなど）が、非常に動的な細胞通信トラフィックパターンの予測において抱える限界を解消すること。
• 深層学習モデル（特にLSTMおよびFFNN）がARIMAと比較して、細胞通信トラフィック予測において果たす性能を評価すること。
• さまざまなトレーニングデータサイズ下でのLSTMおよびFFNNのトレーニング効率と予測精度を評価すること。
• LSTMが最小限のトレーニングデータで高精度な予測を達成できることを示し、タイムリーなネットワークリソース最適化を可能にすること。

提案手法

• 本研究では、2つの隠れ層を備えたLSTMベースのモデルを実装した。1つ目の層は50個のLSTMセルを、2つ目の層は1ユニットの全結合層を有する。
• モデルは標準的なLSTMセルアーキテクチャを採用し、忘却ゲート、入力ゲート、出力ゲートを備え、シグモイドおよびtanh活性化関数を用いる。
• 主な方程式には、忘却ゲート $\Gamma_f^t = \sigma(W_f[a^{t-1}, X^t] + b_f)$、入力ゲート $\Gamma_u^t = \varphi(W_u[a^{t-1}, X^t] + b_u)$、出力ゲート $\Gamma_o^t = \sigma(W_o[a^{t-1}, X^t] + b_o)$ が含まれる。
• セル状態は $C^t = \Gamma_f^t \ast C^{t-1} + \Gamma_u^t \ast \varphi(C_u^t)$ により更新され、隠れ状態は $a^t = \Gamma_o^t \ast \varphi(C^t)$ として計算される。
• 最終出力は $y^t = \sigma(W_y a^t + b_y)$ により生成され、トレーニングおよび検証損失の計算には平均絶対誤差が用いられる。
• すべてのモデルは、Pythonを用いてKerasおよびTensorFlowを用いてトレーニング・評価され、実世界の通話記録データ（CDR）を用い、MATLABを用いてデータ前処理が行われた。

実験結果

リサーチクエスチョン

• RQ1 LSTMベースのモデルは、従来のARIMAモデルと比較して、細胞通信トラフィックパターンの予測において優れているか？
• RQ2 同じトレーニング条件下で、LSTMの予測精度は、シンプルなフィードフォワードニューラルネットワーク（FFNN）と比較してどうなるか？
• RQ3 トレーニングデータサイズが減少した場合、モデルの性能はどのように変化するか。特に収束速度と予測精度の観点から。
• RQ4 LSTMは最小限のトレーニングデータで高精度な予測を達成できるか。これにより、リアルタイムのネットワーク計画に適しているか？

主な発見

• LSTMおよびFFNNの両方とも、すべてのトレーニングセットサイズにおいて、真値データと密接に一致する高い予測精度を達成した。
• 中規模トレーニングセット（7142サンプル）を用いた場合、LSTMはわずか2エポックでトレーニングおよび検証誤差がほぼゼロに収束したが、FFNNは10エポック以上を要した。
• トレーニングセットを3571サンプルに縮小した場合、LSTMは正確な予測を維持し、5エポック未満で誤差がゼロに収束した。一方、FFNNは10エポック以上を要し、誤差が高くなった。
• トレーニングデータをさらに892サンプルに減少させた場合、FFNNの性能は著しく低下し、20エポック経過しても誤差は依然として高かったが、LSTMは誤差がゼロに収束する正確な予測を維持した。
• ARIMAモデルは妥当なベースラインを提供したが、真値データで観察された複雑で動的なトラフィックパターンを正確に再現できなかった。
• LSTMは、トレーニング効率と小規模データに対するロバストネスに優れており、リアルタイムでデータ制約のある細胞通信ネットワーク予測に非常に適している。