[論文レビュー] Deep Factors with Gaussian Processes for Forecasting

Danielle C. Maddix, Yuyang Wang+1 more|arXiv (Cornell University)|Nov 30, 2018

Gaussian Processes and Bayesian Inference参考文献 19被引用数 18

ひとこと要約

本稿では、ガウス過程を用いたスケーラブルなグローバル・ローカルモデルであるDeep Factors with Gaussian Processes (DFGP)を提案する。このモデルは、共有された時系列パターンを学習する深層学習と、個々の時系列の不確実性をモデル化する局所的ガウス過程を組み合わせる。アテンション駆動の深層要因を用いてグローバルなダイナミクスを捉え、局所的な摂動にはガウス過程の事前分布を適用することで、大規模な時系列予測タスクにおいて最先端の精度と優れた不確実性評価を達成する。

ABSTRACT

A large collection of time series poses significant challenges for classical and neural forecasting approaches. Classical time series models fail to fit data well and to scale to large problems, but succeed at providing uncertainty estimates. The converse is true for deep neural networks. In this paper, we propose a hybrid model that incorporates the benefits of both approaches. Our new method is data-driven and scalable via a latent, global, deep component. It also handles uncertainty through a local classical Gaussian Process model. Our experiments demonstrate that our method obtains higher accuracy than state-of-the-art methods.

研究の動機と目的

• 古典的な時系列モデルの限界（スケーリングが悪く、グローバルパターンの抽出ができない）と、深層ニューラルネットワークの限界（不確実性評価に苦労する）を解消すること。
• 多数の時系列に共通するグローバルパターンを活用しながら、個々の時系列のばらつきを保ち続ける、スケーラブルでデータ駆動の予測モデルを開発すること。
• 確率的ガウス過程モデルを局所的に統合し、深層学習をグローバルに統合することで、予測における不確実性の伝搬を可能にすること。
• 限られた学習データで、大規模な時系列コレクションにおいて高い予測精度と信頼性の高い不確実性推定を達成すること。

提案手法

• モデルは各時系列を、K個の潜在的深層動的要因によって駆動されるグローバル成分に分解する。要因はRNN（例：LSTM）を用い、要因の寄与度に時間的アテンションを適用して学習される。
• グローバル要因表現は、時系列固有のアテンション重みと組み合わせられ、固定効果成分を形成する：$ f_{i,t} = w_i^T g_t(x_{i,t}) $。
• 局所的ランダム効果はガウス過程 $ r_i \sim \text{GP}(0, \mathcal{K}_i(\cdot,\cdot)) $ としてモデル化され、個々の時系列の逸脱を捉え、不確実性の伝搬を可能にする。
• 観測値は $ z_{i,t} \sim p(\cdot|u_{i,t}) $ としてモデル化され、ここで $ u_{i,t} = f_{i,t} + r_{i,t} $ であり、効率的な周辺尤度計算のための正規分布尤度が使用される。
• 推論は最尤推定により実行され、周辺尤度は $ p(z_i) = \mathcal{N}(f_i, \mathcal{K}_i + \sigma_i^2 \mathbb{I}) $ として計算され、効率的な学習が可能になる。
• モデルはガウス過程のための径路基底関数（RBF）カーネルを用い、MXNet Gluonで実装され、学習にはp3.4xlarge SageMakerインスタンスが使用された。

実験結果

リサーチクエスチョン

• RQ1 深層学習とガウス過程を統合したハイブリッドモデルは、大規模な時系列コレクションにおいて、最先端の手法を上回る予測精度を達成できるか？
• RQ2 このようなモデルは、大規模データセットにスケーラブルである一方で、予測の不確実性を効果的に捉えることができるか？
• RQ3 アテンション駆動の深層要因と局所的ガウス過程を組み合わせたグローバル・ローカルアーキテクチャは、純粋に深層的または純粋に確率的なモデルに比べ、精度と不確実性評価の両面で優れているか？
• RQ4 限られた学習データでのコールドスタート状況下でも、モデルの一般化性能はどの程度高いか？

主な発見

• 電力データセットでは、3日間の予測においてDFGPはP90QLが0.061を達成し、DeepAR（0.182）とProphet（0.103）を大きく上回る不確実性評価を示した。
• 電力データセットの24時間予測では、DFGPのP90QLは0.074に低下したのに対し、DeepAR（0.100）とProphet（0.091）はそれぞれ高い値を示し、優れた不確実性推定を実現した。
• 交通データセットでは、3日間の予測においてDFGPのP90QLは0.093であった。これはDeepAR（0.162）とProphet（0.207）を上回った。
• 交通データセットの24時間予測では、DFGPのP90QLは0.090であった。これに対し、DeepAR（0.149）とProphet（0.191）はより高い値を示し、不確実性推定の面で一貫した改善を示した。
• 24時間の電力予測において、DFGPはRMSEを454.307にまで低減した。これに対してProphetは783.598、DeepARは2100.927であった。点予測精度の向上を示している。
• 1週間分の学習データのみで、両データセットで優れた性能を発揮した。限られたデータでも強固で、スケーラビリティを示した。