[논문 리뷰] Think Globally, Act Locally: A Deep Neural Network Approach to High-Dimensional Time Series Forecasting

Rajat Sen, Hsiang‐Fu Yu외 1명|arXiv (Cornell University)|2019. 05. 09.

Stock Market Forecasting Methods참고 문헌 23인용 수 95

한 줄 요약

DeepGLO는 글로벌 시간적 합성곱 기반의 행렬 분해와 로컬 per-series 모델을 결합하여 초고차원 시계열을 예측하고, 각 시리즈에 대한 과도한 개별 정규화 없이도 강력한 성능 향상과 확장성을 달성합니다.

ABSTRACT

Forecasting high-dimensional time series plays a crucial role in many applications such as demand forecasting and financial predictions. Modern datasets can have millions of correlated time-series that evolve together, i.e they are extremely high dimensional (one dimension for each individual time-series). There is a need for exploiting global patterns and coupling them with local calibration for better prediction. However, most recent deep learning approaches in the literature are one-dimensional, i.e, even though they are trained on the whole dataset, during prediction, the future forecast for a single dimension mainly depends on past values from the same dimension. In this paper, we seek to correct this deficiency and propose DeepGLO, a deep forecasting model which thinks globally and acts locally. In particular, DeepGLO is a hybrid model that combines a global matrix factorization model regularized by a temporal convolution network, along with another temporal network that can capture local properties of each time-series and associated covariates. Our model can be trained effectively on high-dimensional but diverse time series, where different time series can have vastly different scales, without a priori normalization or rescaling. Empirical results demonstrate that DeepGLO can outperform state-of-the-art approaches; for example, we see more than 25% improvement in WAPE over other methods on a public dataset that contains more than 100K-dimensional time series.

연구 동기 및 목표

• 함께 진화하는 수백만 개의 시계열 데이터에 대해 정확한 예측을 촉진한다.
• 각 시계열에 대한 로컬 보정이 가능하면서 글로벌 패턴을 포착하는 모델을 개발한다.
• 시리즈 간의 사전 정규화 없이도 고차원 데이터에서 안정적인 학습을 가능하게 한다.

제안 방법

• apriori 정규화 없이 다양한 스케일을 처리하기 위해 Temporal Convolution Networks용 LeveledInit를 도입한다.
• TCN-MF: Y(tr)의 저랭크 행렬 분해를 F와 X(tr)로 나누고 Temporal Convolution Network로 정규화하여 X의 시간적 구조를 촉진한다.
• 하이브리드 모델 DeepGLO 개발: 글로벌 모델의 출력을 로컬 TCN의 공변량으로 사용하여 전역-로컬 예측을 공동으로 가능하게 한다.
• 미니배치 SGD로 전역적으로 학습하고 인수 행렬과 시간 네트워크 간의 교대 최적화를 수행한다.
• 각 윈도우마다 재학습이 필요 없는 롤링 및 다중 예측 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 다수의 시계열에 대한 글로벌 저랭크 표현이 공유된 시간적 패턴을 효과적으로 포착할 수 있는가?
• RQ2 글로벌 TCN-정규화 행렬 인수분해와 로컬 per-series 네트워크를 결합하는 것이 현 상태의 최첨단 방법들보다 예측 정확도를 향상시키는가?
• RQ3 모델은 매우 높은 차원의 데이터셋(예: >100K 시계열)에서도 확장 가능하며 사전 전처리 정규화 없이 스케일 변화에 강한가?

주요 결과

알고리즘	전기 정규화된	전기 비정규화	트래픽 정규화된	트래픽 비정규화	위키 정규화된	위키 비정규화
DeepGLO (Unnormalized)	0.133/0.453/0.162	0.082/0.341/0.121	0.166/0.210/0.179	0.148/0.168/0.142	0.569/3.335/1.036	0.237/0.441/0.395
DeepGLO (Normalized)	0.133/0.453/0.162	0.082/0.341/0.121	0.166/0.210/0.179	0.148/0.168/0.142	0.569/3.335/1.036	0.237/0.441/0.395
Local TCN (LeveledInit)	0.143/0.356/0.207	0.092/0.237/0.126	0.157/0.201/0.156	0.169/0.177/0.169	0.243/0.545/0.431	0.212/0.316/0.296
Global TCN-MF	0.144/0.485/0.174	0.106/0.525/0.188	0.336/0.415/0.451	0.226/0.284/0.247	1.19/8.46/1.56	0.433/1.59/0.686
Local-Only LSTM	0.109/0.264/0.154	0.896/0.672/0.768	0.276/0.389/0.361	0.270/0.357/0.263	0.427/2.170/0.590	0.789/0.686/0.493
DeepAR	0.086/0.259/0.141	0.994/0.818/1.85	0.140/0.201/0.114	0.211/0.331/0.267	0.429/2.980/0.424	0.993/8.120/1.475
TCN (no LeveledInit)	0.147/0.476/0.156	0.423/0.769/0.523	0.204/0.284/0.236	0.239/0.425/0.281	0.336/1.322/0.497	0.511/0.884/0.509
Prophet	0.197/0.393/0.221	0.221/0.586/0.524	0.313/0.600/0.420	0.303/0.559/0.403	-	-
TRMF (retrained)	0.104/0.280/0.151	0.105/0.431/0.183	0.159/0.226/0.181	0.210/0.322/0.275	0.309/0.847/0.451	0.320/0.938/0.503
SVD+TCN	0.219/0.437/0.238	0.368/0.779/0.346	0.468/0.841/0.580	0.329/0.687/0.340	0.697/3.51/0.886	0.639/2.000/0.893
STGCN (Cheb)	-	-	-	-	-	-
STGCN (First)	-	-	-	-	-	-

• DeepGLO는 110K 차원을 초과하는 공개 위키 데이터셋을 포함한 네 가지 실제 데이터셋에서 벤치마크를 능가한다.
• 큰 규모의 고차원 데이터셋에서 다른 방법들에 비해 WAPE가 25% 이상 개선되었다고 보고된다.
• LeveledInit는 다양한 시계열에 대해 apriori 정규화 없이도 Temporal Convolution Networks의 안정적인 학습을 가능하게 한다.
• Global TCN-MF 모델은 글로벌 패턴을 포착하고 재학습 없이 롤링 예측을 지원한다.
• DeepGLO의 하이브리드 설계는 자주 재학습 없이 롤링 예측과 다중 예측 look-ahead를 가능하게 하여 확장성을 향상시킨다.