[논문 리뷰] Traffic Prediction Based on Random Connectivity in Deep Learning with Long Short-Term Memory

Yuxiu Hua, Zhifeng Zhao외 4명|arXiv (Cornell University)|2017. 11. 08.

Traffic Prediction and Management Techniques참고 문헌 9인용 수 4

한 줄 요약

이 논문은 랜덤으로 연결된 신경망을 사용하는 스파ARSE 연결 LSTM(RCLSTM)을 제안한다. 이는 기존의 완전 연결 구조를 사용하는 LSTM 네트워크의 계산 비용을 줄이기 위해 제안된 변종으로, 뉴런 간의 연결을 무작위로 설정함으로써 효율성을 높인다. 전체 연결 LSTM에 비해 35% 적은 연결을 가짐에도 불구하고, 특히 긴 입력 시퀀스에서 기존 LSTM과 유사하거나 더 높은 예측 정확도를 달성하며, 이는 희소성으로 인해 성능 저하가 발생하지 않으며, 특정 조건에서는 성능 향상까지 가능함을 시사한다.

ABSTRACT

Traffic prediction plays an important role in evaluating the performance of telecommunication networks and attracts intense research interests. A significant number of algorithms and models have been put forward to analyse traffic data and make prediction. In the recent big data era, deep learning has been exploited to mine the profound information hidden in the data. In particular, Long Short-Term Memory (LSTM), one kind of Recurrent Neural Network (RNN) schemes, has attracted a lot of attentions due to its capability of processing the long-range dependency embedded in the sequential traffic data. However, LSTM has considerable computational cost, which can not be tolerated in tasks with stringent latency requirement. In this paper, we propose a deep learning model based on LSTM, called Random Connectivity LSTM (RCLSTM). Compared to the conventional LSTM, RCLSTM makes a notable breakthrough in the formation of neural network, which is that the neurons are connected in a stochastic manner rather than full connected. So, the RCLSTM, with certain intrinsic sparsity, have many neural connections absent (distinguished from the full connectivity) and which leads to the reduction of the parameters to be trained and the computational cost. We apply the RCLSTM to predict traffic and validate that the RCLSTM with even 35% neural connectivity still shows a satisfactory performance. When we gradually add training samples, the performance of RCLSTM becomes increasingly closer to the baseline LSTM. Moreover, for the input traffic sequences of enough length, the RCLSTM exhibits even superior prediction accuracy than the baseline LSTM.

연구 동기 및 목표

• 실시간 통신 네트워크의 교통 예측에 있어 기존 LSTM의 높은 계산 비용 문제를 해결하기 위해.
• LSTM에서 희소 연결이 모델 복잡성 감소와 함께 예측 성능를 유지하거나 향상시킬 수 있는지 조사하기 위해.
• 신경 연결 밀도와 입력 시퀀스 길이의 변화가 예측 정확도에 미치는 영향을 평가하기 위해.
• RCLSTM가 파rameter 수와 학습 오버헤드를 줄임으로써 실제 교통 데이터 예측에서 효과적으로 작용하는지 검증하기 위해.

제안 방법

• RCLSTM는 LSTM 레이어의 완전 연결을 무작위로 희소 연결로 대체하며, 각 뉴런 간 연결은 고정 확률로 설정된다.
• 시계열 교통 데이터를 처리하기 위해 3층으로 스택된 아키텍처를 사용하여 장기적 시간 의존성을 유지한다.
• 신경 연결은 균일한 무작위 분포를 통해 형성되어 내재적인 희소성을 도입함으로써 학습 가능한 파라미터 수를 감소시킨다.
• 모델은 표준 손실 함수(MSE 및 MAE 포함)를 사용하여 역전파를 통한 시간 기반 학습을 수행한다.
• 입력 교통 시퀀스는 정규화되고 훈련 및 테스트 세트로 분할되며, 가변 길이 슬라이딩 윈도우를 사용해 장기 의존성 학습 능력을 평가한다.
• 성능 평가는 MSE 및 MAE를 사용하며, 연결 비율과 훈련 샘플 수에 대한 분석 연구를 수행한다.

실험 결과

연구 질문

• RQ1 랜덤으로 연결된 LSTM 아키텍처가 계산 비용을 크게 줄이면서도 높은 예측 정확도를 유지할 수 있는가?
• RQ2 RCLSTM가 전체 연결 LSTM과 유사한 성능을 달성하기 위해 필요한 최소 수준의 신경 연결 밀도는 얼마인가?
• RQ3 입력 교통 시퀀스의 길이가 RCLSTM의 예측 정확도에 미치는 영향은 기존 LSTM과 비교해 어떻게 다른가?
• RQ4 충분한 훈련 데이터와 긴 입력 시퀀스가 제공될 경우, RCLSTM이 기존 LSTM을 능가하는가?

주요 결과

• RCLSTM가 뉴런 연결을 35%로 줄여도 전체 연결 LSTM과 유사한 예측 정확도를 달성하며, 이는 희소성이 성능 저하를 유발하지 않음을 시사한다.
• 훈련 샘플 수가 증가함에 따라 RCLSTM(35% 연결)의 성능은 기존 LSTM에 점점 가까워지며, 초반의 격차가 줄어든다.
• 충분히 긴 입력 시퀀스에서 RCLSTM는 MSE 및 MAE 측면에서 기존 LSTM을 능가하며, 장기 의존성 모델링 능력이 뛰어나다는 것을 입증한다.
• RCLSTM가 50% 연결 비율을 가질 경우 전체 연결 LSTM과 유사한 성능을 달성하며, 효율성과 정확도 사이의 강력한 트레이드오���을 보여준다.
• 입력 시퀀스 길이가 증가함에 따라 RCLSTM의 예측 오차(MSE)는 변동성이 적고 기존 LSTM보다 낮게 유지되며, 긴 시퀀스에 대해 더 뛰어난 안정성을 보임을 나타낸다.