[논문 리뷰] Stacked Bidirectional and Unidirectional LSTM Recurrent Neural Network for Forecasting Network-wide Traffic State with Missing Values

Zhiyong Cui, Ruimin Ke외 2명|arXiv (Cornell University)|2020. 05. 24.

Traffic Prediction and Management Techniques참고 문헌 53인용 수 37

한 줄 요약

이 논문은 SBU-LSTM을 소개하는데, 이는 Bidirectional LSTM과 Imputation(BDLSTM-I)을 결합한 스택형 아키텍처와 단방향 LSTM 계층을 통해 네트워크 전체 트래픽 속도를 예측하고 통합 임퓨테이션 유닛을 통해 누락 데이터를 처리합니다.

ABSTRACT

Short-term traffic forecasting based on deep learning methods, especially recurrent neural networks (RNN), has received much attention in recent years. However, the potential of RNN-based models in traffic forecasting has not yet been fully exploited in terms of the predictive power of spatial-temporal data and the capability of handling missing data. In this paper, we focus on RNN-based models and attempt to reformulate the way to incorporate RNN and its variants into traffic prediction models. A stacked bidirectional and unidirectional LSTM network architecture (SBU-LSTM) is proposed to assist the design of neural network structures for traffic state forecasting. As a key component of the architecture, the bidirectional LSTM (BDLSM) is exploited to capture the forward and backward temporal dependencies in spatiotemporal data. To deal with missing values in spatial-temporal data, we also propose a data imputation mechanism in the LSTM structure (LSTM-I) by designing an imputation unit to infer missing values and assist traffic prediction. The bidirectional version of LSTM-I is incorporated in the SBU-LSTM architecture. Two real-world network-wide traffic state datasets are used to conduct experiments and published to facilitate further traffic prediction research. The prediction performance of multiple types of multi-layer LSTM or BDLSTM models is evaluated. Experimental results indicate that the proposed SBU-LSTM architecture, especially the two-layer BDLSTM network, can achieve superior performance for the network-wide traffic prediction in both accuracy and robustness. Further, comprehensive comparison results show that the proposed data imputation mechanism in the RNN-based models can achieve outstanding prediction performance when the model's input data contains different patterns of missing values.

연구 동기 및 목표

• 센서 데이터 누락을 처리할 수 있는 단기 네트워크 전체 트래픽 예측의 개선을 목표로 한다.
• 예측 모델 내에서 누락 값을 추정하기 위한 임퓨테이션 유닛(LSTM-I)을 갖춘 LSTM 변형을 제안한다.
• 공간-시간 특성 학습을 향상시키기 위해 양방향 LSTM 구성요소와 단방향 LSTM 구성요소를 결합한 스택형 아키텍처(SBU-LSTM)를 도입한다.
• 실제 데이터셋에서 모델 성능을 평가하고 모델 용량과 복잡성 간의 trade-off를 분석한다.
• 향후 연구를 촉진하기 위해 LOOP-SEA 데이터셋을 공개하고 공유한다.

제안 방법

• X를 누락 값을 나타내는 마스킹 행렬 M이 있는 T x D 트래픽 상태 시퀀스로 정의한다.
• 임퓨테이션 유닛을 갖춘 LSTM-I를 도입하여 C_{t-1}와 h_{t-1}로부터 누락된 x_t를 추정하고 마스킹 메커니즘을 통해 입력을 업데이트한다.
• LSTM-I 손실에 임퓨테이션 오차를 페널티로 하는 정규화 항(lambda * sum of |x_t - xhat_t|)을 포함한다.
• 정방향 및 역방향 패스를 사용하여 누락 값을 임퓨트하고 평균화 연산자로 결합하는 Bidirectional LSTM with Imputation (BDLSTM-I)로 확장한다.
• BDLSTM-I와 LSTM/LBDSTM 계층을 유연한 SBU-LSTM 아키텍처로 쌓아 올리는데, 첫 번째 계층은 누락 데이터가 존재할 때 BDLSTM-I이며 필요에 따라 추가 계층을 배치한다.
• Adam으로 MSE를 사용해 조기 중단 및 학습률 감소를 적용하여 학습하고, 다양한 누락 비율에서 난수형 및 비난수형 누락 패턴 하에서 평가한다.

실험 결과

연구 질문

• RQ1 양방향 시간 의존성을 사용하는 스택형 아키텍처가 단방향 또는 단일 계층 모델에 비해 네트워크 전체 트래픽 예측 정확도를 향상시킬 수 있는가?
• RQ2 RNN(LSTM-I/BDLSTM-I)에 데이터 임퓨테이션 유닛을 통합하는 것이 센서 데이터 누락 상황에서 견고성 및 예측 정확도를 향상시키는가?
• RQ3 모델의 깊이와 계층 유형(BDLSTM-I 대 LSTM/LBDSTM)이 예측 성능 및 계산적 트레이드오프에 미치는 영향은 무엇인가?
• RQ4 제안된 접근 방식이 서로 다른 누락 데이터 패턴을 가진 실제 네트워크 전체 트래픽 데이터셋에서 어떻게 성능을 보이는가?

주요 결과

• BDLSTM 기반 아키텍처, 특히 두 계층의 BDLSTM이 LOOP-SEA 및 PEMS-BAY 데이터셋에서 최고의 예측 정확도를 달성한다.
• 두 계층 BDLSTM은 일반적으로 단일 계층 모델 및 더 깊은 구조를 능가하여 모델 용량과 복잡성의 달콤한 균형을 시사한다.
• BDLSTM-I (with missing data handling) often yields superior performance when input data contains missing values, with imputation integrated into the training objective.
• 제안된 데이터 임퓨테이션 메커니즘(LSTM-I/BDLSTM-I)은 다양한 누락 값 패턴(난수 및 비난수)에서 예측 견고성을 향상시킨다.
• 결과는 BDLSTM 기반 스택이 네트워크 전체 트래픽 예측의 최종 계층으로서 더 효과적이며, 이 아키텍처를 LSTM/BDLSTM 계층으로 유연하게 확장할 수 있음을 시사한다.