[論文レビュー] Think Globally, Act Locally: A Deep Neural Network Approach to High-Dimensional Time Series Forecasting

Rajat Sen, Hsiang‐Fu Yu+1 more|arXiv (Cornell University)|May 9, 2019

Stock Market Forecasting Methods参考文献 23被引用数 95

ひとこと要約

DeepGLOは、グローバルな時系列畳み込みに基づく行列分解と、各系列ごとのローカルモデルを組み合わせたハイブリッド手法で、超高次元の時系列を予測します。heavy per-series normalizationなしで強い改善とスケーラビリティを達成します。

ABSTRACT

Forecasting high-dimensional time series plays a crucial role in many applications such as demand forecasting and financial predictions. Modern datasets can have millions of correlated time-series that evolve together, i.e they are extremely high dimensional (one dimension for each individual time-series). There is a need for exploiting global patterns and coupling them with local calibration for better prediction. However, most recent deep learning approaches in the literature are one-dimensional, i.e, even though they are trained on the whole dataset, during prediction, the future forecast for a single dimension mainly depends on past values from the same dimension. In this paper, we seek to correct this deficiency and propose DeepGLO, a deep forecasting model which thinks globally and acts locally. In particular, DeepGLO is a hybrid model that combines a global matrix factorization model regularized by a temporal convolution network, along with another temporal network that can capture local properties of each time-series and associated covariates. Our model can be trained effectively on high-dimensional but diverse time series, where different time series can have vastly different scales, without a priori normalization or rescaling. Empirical results demonstrate that DeepGLO can outperform state-of-the-art approaches; for example, we see more than 25% improvement in WAPE over other methods on a public dataset that contains more than 100K-dimensional time series.

研究の動機と目的

• 同時に進化する百万を超える時系列データセットに対して、正確な予測を動機づける。
• グローバルなパターンを捉えつつ、各系列の局所的な調整を可能にするモデルを開発する。
• 系列間の事前正規化なしで高次元データの安定的な学習を実現する。

提案手法

• 多様なスケールを事前正規化なしで扱うためのTemporal Convolution Networks向けLeveledInitを導入する。
• Y(tr)をFとX(tr)に低ランク分解するTCN-MFを提案し、Xに時系列的構造を持たせるようTemporal Convolution Networkで正則化する。
• グローバルモデルの出力を局所TCNの共変量として用い、グローバル予測とローカル予測を同時に可能にするハイブリッドモデルDeepGLOを開発する。
• 小さなバッチSGDでグローバルに学習し、因子行列と時系列ネットワークの最適化を交互に行う。
• 各ウィンドウごとに再訓練を必要としない、ローリングおよび多ステップ予測フレームワークを提供する。

実験結果

リサーチクエスチョン

• RQ1 多数の時系列のグローバルな低ランク表現は、共有された時系列パターンを効果的に捉えられるか？
• RQ2 グローバルTCN正則化付き行列分解と局所的な各系列ネットワークを組み合わせることで、最先端の方法より予測精度が向上するか？
• RQ3 100K超の時系列など非常に高次元なデータセットに対してスケーラブルで、前処理の正規化なしでスケール変動に頑健か？

主な発見

アルゴリズム	electricity 正規化済み	electricity 未正規化	traffic 正規化済み	traffic 未正規化	wiki 正規化済み	wiki 未正規化
DeepGLO (Unnormalized)	0.133/0.453/0.162	0.082/0.341/0.121	0.166/0.210/0.179	0.148/0.168/0.142	0.569/3.335/1.036	0.237/0.441/0.395
DeepGLO (Normalized)	0.133/0.453/0.162	0.082/0.341/0.121	0.166/0.210/0.179	0.148/0.168/0.142	0.569/3.335/1.036	0.237/0.441/0.395
Local TCN (LeveledInit)	0.143/0.356/0.207	0.092/0.237/0.126	0.157/0.201/0.156	0.169/0.177/0.169	0.243/0.545/0.431	0.212/0.316/0.296
Global TCN-MF	0.144/0.485/0.174	0.106/0.525/0.188	0.336/0.415/0.451	0.226/0.284/0.247	1.19/8.46/1.56	0.433/1.59/0.686
Local-Only LSTM	0.109/0.264/0.154	0.896/0.672/0.768	0.276/0.389/0.361	0.270/0.357/0.263	0.427/2.170/0.590	0.789/0.686/0.493
DeepAR	0.086/0.259/0.141	0.994/0.818/1.85	0.140/0.201/0.114	0.211/0.331/0.267	0.429/2.980/0.424	0.993/8.120/1.475
TCN (no LeveledInit)	0.147/0.476/0.156	0.423/0.769/0.523	0.204/0.284/0.236	0.239/0.425/0.281	0.336/1.322/0.497	0.511/0.884/0.509
Prophet	0.197/0.393/0.221	0.221/0.586/0.524	0.313/0.600/0.420	0.303/0.559/0.403	-	-
TRMF (retrained)	0.104/0.280/0.151	0.105/0.431/0.183	0.159/0.226/0.181	0.210/0.322/0.275	0.309/0.847/0.451	0.320/0.938/0.503
SVD+TCN	0.219/0.437/0.238	0.368/0.779/0.346	0.468/0.841/0.580	0.329/0.687/0.340	0.697/3.51/0.886	0.639/2.000/0.893
STGCN (Cheb)	-	-	-	-	-	-
STGCN (First)	-	-	-	-	-	-

• DeepGLOは、実世界の4つのデータセット、うち110K次元を超える公開Wikiデータセットを含む、ベンチマークを上回った。
• 大規模で高次元のデータセットで、他手法に比べてWAPEを25%以上改善したと報告される。
• LeveledInitは、多様な時系列で事前正規化なしにTemporal Convolution Networksの信頼性の高い学習を可能にする。
• The Global TCN-MFモデルはグローバルパターンを捉え、再訓練なしでローリング予測をサポートする。
• DeepGLOのハイブリッド設計は頻繁な再訓練なしにローリング予測と多ステップ先読みを可能にし、スケーラビリティを向上させる。