[論文レビュー] Deep Factors for Forecasting

Yuyang Wang, Alex Smola+4 more|arXiv (Cornell University)|May 28, 2019

Time Series Analysis and Forecasting参考文献 49被引用数 58

ひとこと要約

ハイブリッドなグローバル-ローカル予測フレームワークは、グローバルな深層因子（決定論）と局所的な確率的時系列成分を組み合わせて、交換可能な多くの時系列の大規模なコレクションを効率的に予測し、不確実性を定量化します。

ABSTRACT

Producing probabilistic forecasts for large collections of similar and/or dependent time series is a practically relevant and challenging task. Classical time series models fail to capture complex patterns in the data, and multivariate techniques struggle to scale to large problem sizes. Their reliance on strong structural assumptions makes them data-efficient, and allows them to provide uncertainty estimates. The converse is true for models based on deep neural networks, which can learn complex patterns and dependencies given enough data. In this paper, we propose a hybrid model that incorporates the benefits of both approaches. Our new method is data-driven and scalable via a latent, global, deep component. It also handles uncertainty through a local classical model. We provide both theoretical and empirical evidence for the soundness of our approach through a necessary and sufficient decomposition of exchangeable time series into a global and a local part. Our experiments demonstrate the advantages of our model both in term of data efficiency, accuracy and computational complexity.

研究の動機と目的

• 依存性と不確実性定量化を伴う関連する大規模時系列コレクションの予測を動機づける。
• 深層ニューラルネットワーク因子と局所的確率成分を組み合わせたグローバル-ローカルモデルを提案する。
• ノンガウス的尤度を扱い、並列な系列ごとの処理を可能にするスケーラブルな推論を開発する。
• 合成データと実データの両方で、既存手法よりデータ効率と精度の向上を示す。

提案手法

• グローバル潜在系列 g を持つエクスチェンジアブル時系列と、g に条件づけられた局所時系列 z_i を定義（de Finetti に基づく分解）。
• Deep Factor Models with Random Effects (DFM+RE) を導入し、グローバル因子は決定論的な RNN ベースの g_k、局所効果は Gaussian、ISSM、または GP モデルを用いる。
• 潜在関数 u_i = f_i + r_i を定義し、f_i はグローバル因子の加重和としての固定効果（f_i = sum_k w_{i,k} g_k）である。
• 出力 z_{i,t} ~ p(z_{i,t}|u_i(x_{i,t})) のモデル化。Gaussian または non-Gaussian な尤度の選択肢を持つ。
• 最大尤度推定と、グローバルとローカルの計算を分離して効率化するスケーラブルな変分推論スキームを提供する。
• 三つの具体化として DF-RNN、DF-LDS、DF-GP を挙げ、それぞれの推論（DF-LDS にはカルマンフィルタ、DF-GP には GP 込みの周辺尤度）を対応づける。

実験結果

リサーチクエスチョン

• RQ1 多くの時系列に共通するダイナミクスをグローバル潜在因子構造で捉え、局所成分が特異的な挙動をモデルできるか？
• RQ2 非ガウス的尤度を伴うグローバル決定論 + 局所確率モデルのスケーラブルな推論をどのように実現するか？
• RQ3 グローバル深層因子は、実データセットにおいて純粋な局所モデルや純粋なグローバルモデルと比較してデータ効率と予測精度を改善するか？
• RQ4 交換可能時系列理論（de Finetti）は、予測のためのグローバル-ローカル分解を正当化・指針となり得るか？

主な発見

• 提案されたグローバル-ローカルの枠組みは、交換可能な時系列をグローバル潜在過程と局所系列へと principled に分解し、スケーラブルなモデリングを可能にする。
• グローバル因子は決定論的な RNN とロードings によってモデル化され、標準的な RNN 予測器と比較してデータ効率と計算性を改善する。
• 局所効果は Gaussian ノイズ、ISSM、または GP でモデリングでき、厳密なまたは変分的な周辺尤度を可能にし、不確実性の伝播を可能にする。
• 合成データと実データの実証結果は、DF モデルが DeepAR、MQ-RNN、Prophet と比べて、訓練データが限られている状況で精度と変動性の点で優れていることを示す。