[論文レビュー] Traffic Prediction Based on Random Connectivity in Deep Learning with Long Short-Term Memory

Yuxiu Hua, Zhifeng Zhao+4 more|arXiv (Cornell University)|Nov 8, 2017

Traffic Prediction and Management Techniques参考文献 9被引用数 4

ひとこと要約

本稿では、完全結合を避けてランダムに結合するニューロンを用いることで計算コストを低減する、長短期記憶ネットワークのスパース接続版であるランダム接続LSTM（RCLSTM）を提案する。35%の接続数の削減にもかかわらず、特に長時間の入力系列において、従来のLSTMと同等またはそれ以上の予測精度を達成しており、スパarsityが性能を損なうわけではないだけでなく、特定の条件下では性能を向上させることを示している。

ABSTRACT

Traffic prediction plays an important role in evaluating the performance of telecommunication networks and attracts intense research interests. A significant number of algorithms and models have been put forward to analyse traffic data and make prediction. In the recent big data era, deep learning has been exploited to mine the profound information hidden in the data. In particular, Long Short-Term Memory (LSTM), one kind of Recurrent Neural Network (RNN) schemes, has attracted a lot of attentions due to its capability of processing the long-range dependency embedded in the sequential traffic data. However, LSTM has considerable computational cost, which can not be tolerated in tasks with stringent latency requirement. In this paper, we propose a deep learning model based on LSTM, called Random Connectivity LSTM (RCLSTM). Compared to the conventional LSTM, RCLSTM makes a notable breakthrough in the formation of neural network, which is that the neurons are connected in a stochastic manner rather than full connected. So, the RCLSTM, with certain intrinsic sparsity, have many neural connections absent (distinguished from the full connectivity) and which leads to the reduction of the parameters to be trained and the computational cost. We apply the RCLSTM to predict traffic and validate that the RCLSTM with even 35% neural connectivity still shows a satisfactory performance. When we gradually add training samples, the performance of RCLSTM becomes increasingly closer to the baseline LSTM. Moreover, for the input traffic sequences of enough length, the RCLSTM exhibits even superior prediction accuracy than the baseline LSTM.

研究の動機と目的

• 通信ネットワークにおけるリアルタイム交通予測における従来のLSTMの高い計算コストに対処すること。
• LSTMにおけるスパース接続がモデルの複雑さを低減させつつ予測性能を維持または向上させることを調査すること。
• 神経接続密度と入力系列長の変化が予測精度に与える影響を評価すること。
• RCLSTMがパrameter数と学習オーバーヘッドを削減した状態で、実世界の交通データ予測において有効であることを検証すること。

提案手法

• RCLSTMは、LSTM層における完全結合を、固定確率でランダムに接続されたスパース接続に置き換える。
• モデルは3層スタック構造を用い、時系列交通データを処理し、長距離の時系列依存性を保持する。
• 神経接続は一様ランダム分布を用いて形成され、トレーニング可能なパラメータ数を削減する内在的スパarsityを導入する。
• バックプロパゲーションスルータイムを用いて学習を行い、評価にはMSEおよびMAEなどの標準損失関数を用いる。
• 入力交通系列は正規化され、訓練用とテスト用に分割され、可変長スライディングウィンドウを用いて長期依存性学習の評価が行われる。
• MSEおよびMAEを用いて性能を評価し、接続率と学習サンプルサイズに関するアブレーションスタディが実施される。

実験結果

リサーチクエスチョン

• RQ1 ランダムに接続されたLSTMアーキテクチャは、計算コストを大幅に削減しながらも高い予測精度を維持できるか？
• RQ2 RCLSTMが完全結合LSTMと同等の性能を達成するための神経接続の最小レベルは何か？
• RQ3 入力交通系列の長さが、RCLSTMの予測精度に与える影響は、従来のLSTMと比較してどうなるか？
• RQ4 十分な学習データと長い入力系列が利用可能な場合、RCLSTMは従来のLSTMを上回る性能を示すか？

主な発見

• RCLSTMは神経接続を35%にまで削減しても、完全結合LSTMと同等の予測精度を達成しており、スパarsityが性能を低下させないことを示している。
• 学習サンプルサイズが増加するにつれて、35%接続のRCLSTMは従来のLSTMの性能に近づき、初期のギャップが埋まる。
• 十分に長い入力系列では、MSEおよびMAEの両面でRCLSTMが従来のLSTMを上回り、優れた長期依存性モデリング能力を示している。
• 50%接続のRCLSTMは完全結合LSTMと同等の性能を達成しており、効率性と精度の間の強いトレードオフが成立していることを示唆している。
• 入力系列長が延長するに従い、RCLSTMの予測誤差（MSE）は変動が少なく、従来のLSTMよりも常に低く保たれるため、長系列に対してより高いロバスト性を示している。