[論文レビュー] A Spatial-Temporal Decomposition Based Deep Neural Network for Time Series Forecasting

Reza Asadi, Amelia Regan|arXiv (Cornell University)|Feb 2, 2019

Traffic Prediction and Management Techniques参考文献 47被引用数 6

ひとこと要約

本論文は、特に交通フロー予測を念頭に置いた大規模時系列予測のための空間的・時系列的分解に基づく深層ニューラルネットワーク（C-CNN-LSTM-DA）を提案する。時系列をファジィクラスタリングとマルチカーネル畳み込みを用いて短期的、長期的、空間的パターンに分解し、長期依存性を捉えるために畳み込み-LSTMを統合し、欠損データに対して強い耐性を示すために事前学習済みのノイズ除去オートエンコーダを採用することで、最先端のモデルを上回る精度と耐性を達成した。

ABSTRACT

Spatial time series forecasting problems arise in a broad range of applications, such as environmental and transportation problems. These problems are challenging because of the existence of specific spatial, short-term and long-term patterns, and the curse of dimensionality. In this paper, we propose a deep neural network framework for large-scale spatial time series forecasting problems. We explicitly designed the neural network architecture for capturing various types of patterns. In preprocessing, a time series decomposition method is applied to separately feed short-term, long-term and spatial patterns into different components of a neural network. A fuzzy clustering method finds cluster of neighboring time series based on similarity of time series residuals; as they can be meaningful short-term patterns for spatial time series. In neural network architecture, each kernel of a multi-kernel convolution layer is applied to a cluster of time series to extract short-term features in neighboring areas. The output of convolution layer is concatenated by trends and followed by convolution-LSTM layer to capture long-term patterns in larger regional areas. To make a robust prediction when faced with missing data, an unsupervised pretrained denoising autoencoder reconstructs the output of the model in a fine-tuning step. The experimental results illustrate the model outperforms baseline and state of the art models in a traffic flow prediction dataset.

研究の動機と目的

• 大規模な空間的・時系列的時系列予測の課題、特に交通フローにおいて、空間的依存性、短期的および長期的パターン、欠損データがモデル化を複雑にするという点を解決すること。
• 時系列分解と残差のファジィクラスタリングを用いて、時系列を明示的に短期的、長期的、空間的パターンに分解すること。
• これらの成分を別々に処理するニューラルネットワークアーキテクチャを設計すること：局所的な空間的パターンにはマルチカーネル畳み込み、地域的な長期的傾向には畳み込み-LSTMを用いる。
• ファインチューニング段階で事前学習済みのノイズ除去オートエンコーダを統合することで、欠損データ条件下でのモデルの耐性を向上させること。
• 実世界の交通フロー予測において、正常時および欠損データ下での両方の条件下で、ベースラインおよび最先端のモデルを上回る優れた性能を示すこと。

提案手法

• 時系列分解により元のデータをトレンド、季節的、残差成分に分離し、残差を用いて空間的に相関する短期的パターンを特定する。
• 時系列の残差に対してファジィc-平均クラスタリングを適用し、類似した残差パターンを示す近隣のセンサーをグループ化することで、局所的パターン学習のためのクラスタを形成する。
• 各クラスタに対して独立して処理を行うマルチカーネル畳み込み層を設け、各カーネルがクラスタ内の時系列ステップにのみ作用することで、空間的構造を保持し、局所的な短期的ダイナミクスを捉える。
• マルチカーネル畳み込みの出力をトレンド成分と連結し、それを畳み込み-LSTM層に供給することで、広範囲の空間的領域における長期的依存性をモデル化する。
• ノイズ除去オートエンコーダをモデル出力上で事前学習し、エンド・トゥ・エンドでファインチューニングすることで、元の信号を再構成し、欠損データやノイズに対する耐性を高める。
• 最終的なモデル、C-CNN-LSTM-DAは、すべての構成要素を統合する：分解、クラスタリング、マルチカーネルCNN、畳み込み-LSTM、およびノイズ除去オートエンコーダを統合し、耐性があり高精度な予測を実現する。

実験結果

リサーチクエスチョン

• RQ1 時系列を短期的、長期的、空間的パターンに明示的に分解することで、大規模な空間的・時系列的システムにおける予測精度が向上するか？
• RQ2 生データではなく時系列の残差を用いることで、近隣のセンサー間の空間的依存性を効果的にモデル化できるか？
• RQ3 ネットワーク構造を持つデータに対して、標準の畳み込み層と比較して、空間クラスタごとにマルチカーネル畳み込み層を用いることで性能が向上するか？
• RQ4 事前学習済みのノイズ除去オートエンコーダは、交通フロー予測における欠損データの状況下で、モデルの耐性をどの程度向上させるか？
• RQ5 データ損傷または欠損値がある状況下で、提案手法は最先端の深層学習モデルと比較して、精度および耐性の面で優れているか？

主な発見

• C-CNN-LSTM-DAモデルは、ランダムに生成された欠損値を含むテストデータにおいて、30分予測のMAEが13.1、RMSEが23.9を達成し、LSTM（MAE: 16.7、RMSE: 28.8）およびCNN-LSTM（MAE: 16.5、RMSE: 28.9）を上回った。
• ピーク時間帯では、残差MAEが8.2にまで低下し、LSTM（11.1）およびMLP（12.2）を顕著に上回り、変動が激しい状況下でも優れた性能を示した。
• オフピーク時間帯でも安定した性能を維持し、残差MAEが4.4を記録した。LSTM（4.3）と同等の水準であり、交通状況の変化にわたる一般化性能が優れていることを示した。
• ノイズ除去オートエンコーダのコンponentは、欠損データに起因する予測誤差の増加を抑制した。図11では、C-CNN-LSTM-DAが他のモデルと比較して誤差の増加が遅やかであることが示された。
• 時系列の残差に対するファジィクラスタリングにより、意味のある空間的パターンが明らかになった。これは、残差がノイズではなく、局所的な空間的相互作用の指標であることを裏付けた。
• クラスタリングによる空間的分解と、成分別に特化したニューラルモジュールの統合により、標準の深層学習ベースラインと比較して、精度および耐性の両面で顕著な性能向上が得られた。