[논문 리뷰] Think Globally, Act Locally: A Deep Neural Network Approach to High-Dimensional Time Series Forecasting

Rajat Sen, Hsiang‐Fu Yu외 1명|arXiv (Cornell University)|2019. 05. 09.

Stock Market Forecasting Methods인용 수 181

한 줄 요약

요약: 이 논문은 저랭크 글로벌 시간적 컨볼루션 모델과 로컬 시간적 컨네트를 결합한 하이브리드 글로벌-로컬 예측기인 DeepGLO를 제시해 선형화되지 않은 고차원 시계열에서도 신뢰성 있게 학습하고 실증적으로 큰 이득을 얻을 수 있음을 보여준다.

ABSTRACT

Forecasting high-dimensional time series plays a crucial role in many applications such as demand forecasting and financial predictions. Modern datasets can have millions of correlated time-series that evolve together, i.e they are extremely high dimensional (one dimension for each individual time-series). There is a need for exploiting global patterns and coupling them with local calibration for better prediction. However, most recent deep learning approaches in the literature are one-dimensional, i.e, even though they are trained on the whole dataset, during prediction, the future forecast for a single dimension mainly depends on past values from the same dimension. In this paper, we seek to correct this deficiency and propose DeepGLO, a deep forecasting model which thinks globally and acts locally. In particular, DeepGLO is a hybrid model that combines a global matrix factorization model regularized by a temporal convolution network, along with another temporal network that can capture local properties of each time-series and associated covariates. Our model can be trained effectively on high-dimensional but diverse time series, where different time series can have vastly different scales, without a priori normalization or rescaling. Empirical results demonstrate that DeepGLO can outperform state-of-the-art approaches; for example, we see more than 25% improvement in WAPE over other methods on a public dataset that contains more than 100K-dimensional time series.

연구 동기 및 목표

• 글로벌 패턴이 로컬 다이나믹과 공존하는 매우 고차원 시계열의 예측을 모티브로 삼는다.
• 다양한 시계열 규모를 다루는 심층 모델에 대해 초기 정규화 없이 학습이 가능하도록 확장 가능한 학습 방법을 제안한다.
• 글로벌 시간 컨볼루션 행렬 인수분해(TCN-MF)를 개발하고 글로벌 출력이 로컬 예측에 covariates로 투입되는 하이브리드 모델을 구성한다.
• 여러 대규모 실제 데이터 세트에서 최첨단 baselines 대비 우수한 성능을 입증하고 매우 높은 차원의 시계열에서도 우수성을 보인다.
• 다양한 데이터 세트에서 안정적인 최적화를 돕기 위한 실용적 학습 알고리즘과 초기화 기법을 제공한다.

제안 방법

• LeveledInit: Temporal Convolution Networks (TCN)에 대한 간단한 초기화로 1/k로 필터를 초기화하고 바이어스를 0으로 설정하여 사전 정규화 없이 학습 가능하게 한다.
• TCN-MF: Y^(tr) = F X^(tr)의 저랭크 행렬 인수분해를 이용하고 X^(tr)에 시간적 구조를 강제하기 위해 Temporal Convolution Network T_X를 제약하여 X^(tr)와 X^(te)를 예측한다.
• Temporal regularization: R(X^(tr) | T_X) = (1/|J|) L2( X(:, J), T_X( X(:, J-1) ) )를 사용해 기저 시계열이 학습된 시간 패턴을 따르도록 유도한다.
• DeepGLO: 글로벌 모델의 예측을 로컬 T_Y 네트워크의 covariates로 입력하는 2단계 하이브드 모델로, 글로벌 패턴과 로컬 시계열 및 공변량을 결합하여 예측한다.
• Training: F, X^(tr)을 T_X 고정 상태에서 교대 최적화하고 T_X를 미니배치 SGD로 업데이트하는 방식; 예측은 재학습 없이 롤링 및 다중 스텝 예측을 가능하게 한다.
• Algorithmic details: Algorithm 1 (LeveledInit TCN 학습), Algorithm 2 (교대 최적화 기반 TCN-MF 학습), Algorithm 3 (T_X 주어진 F 및 X^(tr) 학습), Algorithm 4 (covariate 보강을 통한 DeepGLO 엔드투엔드 학습).

실험 결과

연구 질문

• RQ1 전역 저랭크 표현이 명시적 정규화 없이도 백만 개의 시계열에서 공유되는 시간적 패턴을 포착할 수 있는가?
• RQ2 전역 시간 모델을 covariates로 도입하는 것이 순수 로컬 모델에 비해 시계열별 예측 정확도를 향상시키는가?
• RQ3 LeveledInit 초기화가 정규화 없이도 매우 다양한 데이터 규모에서 TCN의 안정적인 학습을 가능하게 하는가?
• RQ4 DeepGLO는 대규모 고차원 데이터셋(예: 위키 데이터셋의 >100K 시계열)에서 롤링/예측 작업에 대해 기존 방법 대비 어떤 성능을 보이는가?

주요 결과

• DeepGLO는 롤링 예측 작업에서 네 가지 실제 데이터셋에서 최첨단 baselines를 능가한다.
• 매우 큰 차원의 데이터셋에서도 작동하며, 100K 시계열이 넘는 공개 위키 데이터셋에서도 예측 정확도에서 현저한 개선을 보인다.
• LeveledInit은 사전 정규화 없이도 다양한 시계열 규모에서 TCN의 안정적인 학습을 가능하게 한다.
• 글로벌 TCN-MF 구성요소는 저랭크 인수분해를 통해 글로벌 시간 패턴을 캡처하고, 로컬 TCN이 각 시계열의 다이나믹을 포착하며, 하이브리드 DeepGLO가 둘 다 효과적으로 결합한다.
• 다른 방법과 달리 재학습 없이 롤링 예측 및 다중 스텝 예측이 가능하다.