[論文レビュー] High-Dimensional Multivariate Forecasting with Low-Rank Gaussian Copula Processes

David Salinas, Michael Bohlke‐Schneider+3 more|arXiv (Cornell University)|Oct 7, 2019

Time Series Analysis and Forecasting被引用数 38

ひとこと要約

本論文は、LSTMベースの自己回帰モデルと低ランク＋対角のガウスコプラ出力を組み合わせることで、高次元の多変量予測をスケーラブルに行い、非ガウス的なマージナルを持つ数千の時系列にわたる時系列依存関係を時間的に変化させて捉えることを可能にする。

ABSTRACT

Predicting the dependencies between observations from multiple time series is critical for applications such as anomaly detection, financial risk management, causal analysis, or demand forecasting. However, the computational and numerical difficulties of estimating time-varying and high-dimensional covariance matrices often limits existing methods to handling at most a few hundred dimensions or requires making strong assumptions on the dependence between series. We propose to combine an RNN-based time series model with a Gaussian copula process output model with a low-rank covariance structure to reduce the computational complexity and handle non-Gaussian marginal distributions. This permits to drastically reduce the number of parameters and consequently allows the modeling of time-varying correlations of thousands of time series. We show on several real-world datasets that our method provides significant accuracy improvements over state-of-the-art baselines and perform an ablation study analyzing the contributions of the different components of our model.

研究の動機と目的

• 多数の関連する時系列を予測する際に、時間変動する依存関係を大規模な共分散行列を推定することなく捉えるという課題を動機付け、解決する。
• 自己回帰ニューラルネットワークと低ランク共分散構造を組み合わせたスケーラブルなモデルを開発する。
• コプラベースの変換を通じて非ガウス的なマージナル分布を扱い、異質な系列間での学習を安定化する。
• 実世界の大規模データセットで予測精度の改善を示しつつ、計算効率を維持する。

提案手法

• 系列ごとの潜在状態を共有パラメータで進化させる自己回帰RNN（LSTM）を用いる。
• 共分散の関節出力p(z_t | h_t)を、マージナル変換f_iを用いて標準化したマージナルの上にガウスコプラでモデル化する。
• 共分散を低ランク＋対角行列Σ(h_t) = D_t + V_t V_t^Tとしてパラメータ化し、V_tとD_tを各系列の特徴とLSTM状態の共有関数から生成する。
• マージナルをf_i = Φ^{-1} _hat_iを通して変換し、スケーリングと非ガウス性を扱い、高次元でのガウスコプラを実現する。
• 観測値x_tを時変ガウス過程として解釈し、構造的カーネルを用いて、BatchサイズB << Nのバッチでのスケーラブルな訓練を可能にする。
• 長い系列を扱うためのデータ拡張戦略を用いて、最大尤度でエンドツーエンドに訓練する。

実験結果

リサーチクエスチョン

• RQ1 低ランク共分散構造とガウスコプラ出力の組み合わせが、数千の時系列に対して確率的予測の高い精度を提供できるか。
• RQ2 系列ごとのマージナル変換を共有パラメータにより全体のスケーラビリティを改善しつつ、精度を犠牲にしないか。
• RQ3 非ガウス的マージナル分布は多変量予測にどのような影響を与え、コプラベースの処理は多様な系列間での性能安定化に寄与するか。
• RQ4 低ランクのパラメータ選択が大規模データセットの予測精度と計算効率に与える影響はどれほどか。

主な発見

• 提案されたGP-Copula（低ランク共分散）により、いくつかの実世界データセットでベースラインを大幅に上回る精度向上を達成した。
• 精度向上にはCRPSおよびCRPS-Sumの指標での顕著な改善が含まれ、パラメータ効率性も顕著である。
• 共分散をO(N^2)からO(N r)へ削減することで、パラメータを削減しつつ、数千の時系列を扱えるモデルのスケーラビリティを実現した（rは通常Nよりかなり小さい）。
• 経験的マージナル変換を通じた経験的CDFによるスケーリングと非ガウス性への対処が、単純な平均スケーリング手法よりロバスト性を向上させている。
• この手法は時間とともに変化する共分散構造を解釈可能に示し、Taxiのようなデータセットで予測相関グラフの視覚化を通じて実証されている。