[論文レビュー] Stacked Bidirectional and Unidirectional LSTM Recurrent Neural Network for Forecasting Network-wide Traffic State with Missing Values

Zhiyong Cui, Ruimin Ke+2 more|arXiv (Cornell University)|May 24, 2020

Traffic Prediction and Management Techniques参考文献 53被引用数 37

ひとこと要約

この論文は SBU-LSTM を導入する。これは Bidirectional LSTM と Imputation (BDLSTM-I) を組み合わせた積み重ね式アーキテクチャと、予測モデル内の欠損値を統合的に補完する imput unit を組み合わせたものです。ネットワーク全体の交通速度を予測し、欠損データを扱う。

ABSTRACT

Short-term traffic forecasting based on deep learning methods, especially recurrent neural networks (RNN), has received much attention in recent years. However, the potential of RNN-based models in traffic forecasting has not yet been fully exploited in terms of the predictive power of spatial-temporal data and the capability of handling missing data. In this paper, we focus on RNN-based models and attempt to reformulate the way to incorporate RNN and its variants into traffic prediction models. A stacked bidirectional and unidirectional LSTM network architecture (SBU-LSTM) is proposed to assist the design of neural network structures for traffic state forecasting. As a key component of the architecture, the bidirectional LSTM (BDLSM) is exploited to capture the forward and backward temporal dependencies in spatiotemporal data. To deal with missing values in spatial-temporal data, we also propose a data imputation mechanism in the LSTM structure (LSTM-I) by designing an imputation unit to infer missing values and assist traffic prediction. The bidirectional version of LSTM-I is incorporated in the SBU-LSTM architecture. Two real-world network-wide traffic state datasets are used to conduct experiments and published to facilitate further traffic prediction research. The prediction performance of multiple types of multi-layer LSTM or BDLSTM models is evaluated. Experimental results indicate that the proposed SBU-LSTM architecture, especially the two-layer BDLSTM network, can achieve superior performance for the network-wide traffic prediction in both accuracy and robustness. Further, comprehensive comparison results show that the proposed data imputation mechanism in the RNN-based models can achieve outstanding prediction performance when the model's input data contains different patterns of missing values.

研究の動機と目的

• 欠測センサデータを扱える短期のネットワーク全体の交通予測の改善を動機づける。
• LSTM の変種で impution ユニット (LSTM-I) を導入し、予測モデル内で欠損値を推定する。
• 双方向と単方向の LSTM コンポーネントを組み合わせた積み重ね式アーキテクチャ (SBU-LSTM) を導入し、時空特徴量の学習を向上させる。
• 現実世界のデータセットでモデル性能を評価し、モデル容量と複雑さのトレードオフを分析する。
• LOOP-SEA データセットを公開・共有してさらなる研究を促進する。

提案手法

• X を T × D の交通状態系列とし、欠損値を示すマスキング行列 M を導入する。
• 欠損 x_t を C_{t-1} および h_{t-1} から推定し、マスキング機構を介して入力を更新する impution ユニットを持つ LSTM-I を導入する。
• LSTM-I の損失に補完誤差を罰する正則化項 lambda * sum of |x_t - xhat_t| を追加する。
• 前方と後方のパスを用いて欠損値を推定し、平均化演算子で結合することで imputation を行う Bidirectional LSTM with Imputation (BDLSTM-I) を拡張する。
• 最初の層が欠損データが存在する場合には BDLSTM-I、必要に応じて追加の層を重ねる柔軟な SBU-LSTM アーキテクチャに BDLSTM-I と LSTM/LBDSTM 層を積み重ねる。
• Adam、早期停止、学習率の減衰を用いた MSE で訓練し、ランダムおよび非ランダム欠損データパターンで欠損率を変化させて評価する。

実験結果

リサーチクエスチョン

• RQ1 双方向の時系列依存性を用いる積み重ね式アーキテクチャは、単方向または単一層モデルと比較してネットワーク全体の交通予測の精度を改善できるのか？
• RQ2 RNN にデータ補完ユニットを組み込むこと (LSTM-I/BDLSTM-I) は欠損センサデータの存在下で頑健性と予測精度を向上させるのか？
• RQ3 モデルの深さと層タイプ（BDLSTM-I vs LSTM/LBDSTM）による予測性能と計算トレードオフへの影響はどのようか？
• RQ4 提案手法は異なる欠損データパターンを持つ実世界のネットワーク全体の交通データセットでどう performance するのか？

主な発見

• BDLSTM ベースのアーキテクチャ、特に 2 層の BDLSTM が LOOP-SEA および PEMS-BAY データセットで最良の予測精度を達成する。
• 2 層の BDLSTM は一般に単一層モデルやより深いアーキテクチャよりも優れており、モデル容量と複雑さの適切なバランスを示す。
• 欠損データ処理を伴う BDLSTM-I は入力データに欠損が含まれる場合にしばしば卓越した性能を発揮し、補完が訓練目的に統合されている。
• 提案されたデータ補完機構 (LSTM-I/BDLSTM-I) はさまざまな欠損値パターン（ランダムおよび非ランダム）で予測の頑健性を向上させる。
• BDLSTM ベースのスタックはネットワーク全体の交通予測の最終層としてより効果的であり、アーキテクチャはLSTM/BDLSTM 層で柔軟に拡張できる。