[논문 리뷰] Cellular Traffic Prediction with Recurrent Neural Network

Shan Jaffry|arXiv (Cornell University)|2020. 03. 05.

Traffic Prediction and Management Techniques참고 문헌 18인용 수 4

한 줄 요약

이 논문은 ARIMA 및 피드포워드 신경망(FFNN)과 비교하여 세포막대 트래픽 예측을 위한 장기 단기 기억(LSTM) 순환 신경망을 제안한다. 결과적으로 LSTM는 특히 소규모 데이터셋에서 빠른 수렴 속도를 보이며 더 높은 예측 정확도를 달성하여 향후 6G 네트워크에서 실시간이고 자원 효율적인 트래픽 예측에 이상적이다.

ABSTRACT

Autonomous prediction of traffic demand will be a key function in future cellular networks. In the past, researchers have used statistical methods such as Autoregressive integrated moving average (ARIMA) to provide traffic predictions. However, ARIMA based predictions fail to give an exact and accurate forecast for dynamic input quantities such as cellular traffic. More recently, researchers have started to explore deep learning techniques, such as, recurrent neural networks (RNN) and long-short-term-memory (LSTM) to autonomously predict future cellular traffic. In this research, we have designed a LSTM based cellular traffic prediction model. We have compared the LSTM based prediction with the base line ARIMA model and vanilla feed-forward neural network (FFNN). The results show that LSTM and FFNN accurately predicted future cellular traffic. However, it was found that LSTM train the prediction model in much shorter time as compared to FFNN. Hence, we conclude that LSTM models can be effectively even used with small amount of training data which will allow to timely predict future cellular traffic.

연구 동기 및 목표

• 고전적 통계 모델인 ARIMA가 극도로 동적인 세포막대 트래픽 패턴을 예측하는 데에 한계를 보이는 문제를 해결하기 위해.
• 특히 LSTM 및 FFNN와 같은 딥러닝 모델의 성능을 ARIMA와 비교하여 세포막대 트래픽 예측에 대해 평가하기 위해.
• 다양한 훈련 데이터 크기 하에서 LSTM 및 FFNN의 훈련 효율성과 예측 정확도를 평가하기 위해.
• LSTM가 최소한의 훈련 데이터로도 높은 정확도의 예측을 달성할 수 있음을 입증하여 실시간 네트워크 자원 최적화에 적합함을 보여주기 위해.

제안 방법

• 모델은 두 개의 히든 레이어를 갖는 LSTM 기반 모델로 구성되며, 첫 번째 레이어는 50개의 LSTM 셀을, 두 번째 레이어는 단일 유닛을 갖는 밀집 레이어로 구성된다.
• 모델은 잊기, 입력, 출력 게이트를 갖는 표준 LSTM 셀 아키텍처를 사용하며, 시그모이드 및 탄젠트 활성화 함수를 적용한다.
• 핵심 수식으로는 잊기 게이트 $\Gamma_f^t = \sigma(W_f[a^{t-1}, X^t] + b_f)$, 입력 게이트 $\Gamma_u^t = \varphi(W_u[a^{t-1}, X^t] + b_u)$, 출력 게이트 $\Gamma_o^t = \sigma(W_o[a^{t-1}, X^t] + b_o)$ 가 포함된다.
• 셀 상태는 $C^t = \Gamma_f^t \ast C^{t-1} + \Gamma_u^t \ast \varphi(C_u^t)$ 를 통해 업데이트되며, 히든 상태는 $a^t = \Gamma_o^t \ast \varphi(C^t)$ 로 계산된다.
• 최종 출력은 $y^t = \sigma(W_y a^t + b_y)$ 로 생성되며, 훈련 및 검증 손실 계산에 평균 절대 오차(MAE)가 사용된다.
• 모든 모델는 실제 콜 세부 기록(CDR) 데이터를 사용하여 훈련 및 평가되었으며, 훈련은 파이썬을 기반으로 Keras와 텐서플로우를 활용하여 수행되었고, 데이터 전처리는 MATLAB에서 수행되었다.

실험 결과

연구 질문

• RQ1 LSTM 기반 모델은 기존의 ARIMA 모델보다 세포막대 트래픽 패턴 예측에서 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 동일한 훈련 조건 하에서 LSTM의 예측 정확도는 일반 피드포워드 신경망(FFNN)과 비교해 어떻게 다른가?
• RQ3 훈련 데이터 크기를 줄였을 때 모델 성능은 어떻게 변하는가? 특히 수렴 속도와 예측 정확도 측면에서 어떻게 달라지는가?
• RQ4 LSTM는 최소한의 훈련 데이터로도 높은 정확도의 예측을 달성할 수 있는가? 이는 실시간 네트워크 계획 수립에 적합한가?

주요 결과

• LSTM와 FFNN 모두 모든 훈련 세트 크기에서 높은 예측 정확도를 달성하였으며, 실제 데이터와 매우 유사한 결과를 보였다.
• 중간 크기의 훈련 세트(7142개 샘플)를 사용할 경우, LSTM는 단 2 에포크 만에 근사적으로 0에 가까운 훈련 및 검증 오차에 도달했지만, FFNN는 10개 이상의 에포크가 필요했다.
• 훈련 세트를 3571개 샘플으로 줄였을 경우, LSTM는 정확한 예측을 유지하며 5 에포크 이내에 오차가 0에 수렴했지만, FFNN는 10개 이상의 에포크가 필요했고 오차가 더 높았다.
• 훈련 데이터를 더 줄여 892개 샘플로 줄였을 경우, FFNN의 성능은 심각하게 악화되었으며, 20 에포크가 넘도록 오차가 높게 유지되었지만, LSTM는 정확한 예측을 유지하며 오차가 0으로 수렴했다.
• ARIMA 모델은 합리적인 기준선을 제공했지만, 실제 데이터에서 관찰된 복잡하고 동적인 트래픽 패턴을 정확히 재현하지 못했다.
• LSTM는 뛰어난 훈련 효율성과 소규모 훈련 데이터에 대한 강건성을 보였으며, 실시간이고 자원 제약이 있는 세포막대 네트워크 예측에 매우 적합하다.