[論文レビュー] Think Globally, Act Locally: A Deep Neural Network Approach to High-Dimensional Time Series Forecasting

Rajat Sen, Hsiang‐Fu Yu+1 more|arXiv (Cornell University)|May 9, 2019

Stock Market Forecasting Methods被引用数 181

ひとこと要約

この論文は DeepGLO を導入する。深層グローバル-ローカル予測子で、低ランクのグローバル時系列変換モデルとローカル時系列 ConvNet を組み合わせ、事前正規化なしで高次元時系列の安定した学習を可能にし、経験的に強力な改善を達成する。

ABSTRACT

Forecasting high-dimensional time series plays a crucial role in many applications such as demand forecasting and financial predictions. Modern datasets can have millions of correlated time-series that evolve together, i.e they are extremely high dimensional (one dimension for each individual time-series). There is a need for exploiting global patterns and coupling them with local calibration for better prediction. However, most recent deep learning approaches in the literature are one-dimensional, i.e, even though they are trained on the whole dataset, during prediction, the future forecast for a single dimension mainly depends on past values from the same dimension. In this paper, we seek to correct this deficiency and propose DeepGLO, a deep forecasting model which thinks globally and acts locally. In particular, DeepGLO is a hybrid model that combines a global matrix factorization model regularized by a temporal convolution network, along with another temporal network that can capture local properties of each time-series and associated covariates. Our model can be trained effectively on high-dimensional but diverse time series, where different time series can have vastly different scales, without a priori normalization or rescaling. Empirical results demonstrate that DeepGLO can outperform state-of-the-art approaches; for example, we see more than 25% improvement in WAPE over other methods on a public dataset that contains more than 100K-dimensional time series.

研究の動機と目的

• 非常に高次元の時系列において、グローバルなパターンとローカルダイナミクスが共存する forecasting を動機づける。
• 多様な時系列スケールを扱う深層モデルのために、正規化なしのスケーラブルなトレーニング手法を提案する。
• グローバル時系列畳み込み行列分解（TCN-MF）と、グローバル出力をローカル予測の共変量として組み込むハイブリッドモデルを開発する。
• 複数の大規模実データセットで最先端ベースラインに対して優れた性能を示し、非常に高次元の系列を含む場合でも効果を示す。
• 多様なデータセットで信頼性の高い最適化を促進する実践的な学習アルゴリズムと初期化技術を提供する。

提案手法

• LeveledInit: Temporal Convolution Networks (TCN) のトレーニングを正規化前提なしで可能にする簡易初期化で、フィルターを 1/k に初期化しバイアスを 0 にする。
• TCN-MF: Y^(tr) = F X^(tr) の低ランク行列因子分解で、X^(tr) に対して Temporal Convolution Network T_X による時間的構造を課し X^(te) を予測する。
• Temporal regularization: R(X^(tr) | T_X) = (1/|J|) L2( X(:, J), T_X( X(:, J-1) ) ) を用い、基底時系列が学習された時間パターンに従うよう促す。
• DeepGLO: グローバルモデルの予測を共変量としてローカル T_Y ネットワークに入力する2段階のハイブリッドモデルで、グローバルパターンとローカル系列および共変量を組み合わせて予測する。
• Training: F, X^(tr) を T_X 固定で交互に最適化し、T_X はミニバッチ SGD で更新する；予測は再トレーニング不要のローリングおよび多ステップ先予測を可能にする。
• Algorithmic details: Algorithm 1 (LeveledInit TCN training), Algorithm 2 (TCN-MF training with alternating optimization), Algorithm 3 (training F and X^(tr) given T_X), Algorithm 4 (DeepGLO end-to-end training via covariate augmentation).

実験結果

リサーチクエスチョン

• RQ1 グローバルな低ランク表現は、正規化を明示的に行わずに何百万もの時系列間の共有時間パターンを捉えられるか。
• RQ2 グローバルな時系列モデルを共変量として組み込むことは、純ローカルモデルと比べて各系列の予測精度を改善するか。
• RQ3 LeveledInit 初期化は、正規化なしで非常に多様なデータスケールの時系列に対してTCNを安定的に学習可能にするか。
• RQ4 DeepGLO は大規模で高次元なデータセット（例: wiki の >100K 時系列）でローリング/予測タスクにおいて、最先端ベースラインと比較してどの程度性能を発揮するか。

主な発見

• DeepGLO は4つの実データセットでローリング予測タスクにおいて最先端ベースラインを上回る。
• 非常に大規模な次元性を持つデータセット（>100K の時系列を含む公開ウィキデータセット）でも、予測精度の顕著な改善を示す。
• LeveledInit は正規化なしでも多様な時系列スケールに対してTCNを安定的に学習可能にする。
• グローバル TCN-MF コンポーネントは低ランク分解を介してグローバルな時間パターンを捉え、ローカル TCN は各系列のダイナミクスを捉え、ハイブリッドの DeepGLO は両方を有効に組み合わせる。
• モデルはローリング予測と多ステップ先読みを再学習なしでサポートし、競合法の一部とは異なる。