[論文レビュー] DeepTrend: A Deep Hierarchical Neural Network for Traffic Flow Prediction

Xingyuan Dai, Rui Fu+3 more|arXiv (Cornell University)|Jul 11, 2017

Traffic Prediction and Management Techniques参考文献 11被引用数 46

ひとこと要約

DeepTrendは、2層構造を用いてトレンドと残差を分離することで、時間に依存する交通フローのトレンドを明示的にモデル化する深層階層的ニューラルネットワークを提案する。トレンド学習用の抽出層とLSTMベースの予測層から構成され、標準LSTMやデトレンドベースのモデルを上回る性能を示し、5分先予測のMSEが984.47、MAEが21.21を達成した。これは交通フローの時間的パターンを効果的に捉えられることを示している。

ABSTRACT

In this paper, we consider the temporal pattern in traffic flow time series, and implement a deep learning model for traffic flow prediction. Detrending based methods decompose original flow series into trend and residual series, in which trend describes the fixed temporal pattern in traffic flow and residual series is used for prediction. Inspired by the detrending method, we propose DeepTrend, a deep hierarchical neural network used for traffic flow prediction which considers and extracts the time-variant trend. DeepTrend has two stacked layers: extraction layer and prediction layer. Extraction layer, a fully connected layer, is used to extract the time-variant trend in traffic flow by feeding the original flow series concatenated with corresponding simple average trend series. Prediction layer, an LSTM layer, is used to make flow prediction by feeding the obtained trend from the output of extraction layer and calculated residual series. To make the model more effective, DeepTrend needs first pre-trained layer-by-layer and then fine-tuned in the entire network. Experiments show that DeepTrend can noticeably boost the prediction performance compared with some traditional prediction models and LSTM with detrending based methods.

研究の動機と目的

• 標準LSTMが交通フローサンプル時系列の内在する時間的パターンを捉える能力に限界を示す問題に対処すること。
• 交通フローデータの時間的変動トレンドを明示的にモデル化・学習することで、予測精度を向上させること。
• トレンド抽出とフローパターン予測を分離する深層階層的アーキテクチャを設計し、性能を向上させること。
• 事前学習と微調整が交通フローフォーキャスティングにおけるモデルの汎化能力を向上させるかどうかを検証すること。
• トレンドモデリングを統合することで、生データや基本的なデトレンド手法と比較して、より優れた性能が得られることを示すこと。

提案手法

• モデルは2層構造を採用：元のフローと単純平均トレンド系列を連結したものを入力とし、全結合層で時間的変動トレンドを学習する抽出層。
• 予測層は128ユニットのLSTMネットワークで、抽出されたトレンドと残差系列を入力として未来の交通フローを予測する。
• ネットワークは2段階で訓練：まず、オートエンコーダーに類似した目的関数を用いて抽出層を段階的に事前学習し、その後、全ネットワークをエンドツーエンドで微調整する。
• 残差系列は元のフローと抽出されたトレンドの差分として計算され、トレンド出力とともに予測層に供給される。
• 両層にReLU活性化関数を適用し、Adam最適化法を用い、学習率は事前学習段階で0.001（第1段階）、0.005（第2段階）、微調整段階で0.00002とする。
• Kerasを用いたTensorFlowバックエンドでアーキテクチャを実装し、ARIMA、MVLR、SVR、RF、および標準LSTMモデルと比較した。

実験結果

リサーチクエスチョン

• RQ1 生の交通フローサンプル時系列に対して明示的なトレンドモデリングが行われない場合、LSTMのような深層ニューラルネットワークが時間的パターンを効果的に学習できるか。
• RQ2 専用のトレンド抽出モジュールを統合することで、生データ上で学習した標準LSTMと比較して予測性能が向上するか。
• RQ3 トレンド学習とフローパターン予測を分離する階層的深層学習アーキテクチャは、デトレンドベースのベースラインと比較してどのように性能を発揮するか。
• RQ4 事前学習と微調整は、深層交通フローフォーキャスティングモデルの性能をどの程度向上させるか。
• RQ5 時間的変動トレンドのモデリングは、短期交通フローフォーキャスティングにおけるMSEおよびMAE指標に顕著な改善をもたらすか。

主な発見

• 標準LSTMは、事前分解なしでは、SVRなどの伝統的モデルと同等の性能を示す。これは、生データ上で学習した場合、支配的な時間的パターンを捉えられていないことを示している。
• デトレンドベースのモデルは、生データ上で学習したモデルを著しく上回る。これは、交通フローフォーキャスティングにおいてトレンド分離の重要性を裏付けている。
• DeepTrendは5分先予測のMSEが984.47、MAEが21.21を達成し、評価対象の全モデルの中で最低水準を記録した。
• 累積分布関数（CDF）分析から、MSEおよびMAEの両指標において、50のテストステーションの大多数でDeepTrendが他のすべてのモデルを上回っていることが分かった。
• 2段階訓練（事前学習の後、微調整）が、有効な特徴抽出と汎化能力の向上に不可欠であることが示された。
• 専用の抽出層による時間的変動トレンド学習の統合は、標準LSTMおよびデトレンドベースのアプローチと比較して、明確な性能向上をもたらしている。