[論文レビュー] Multivariate Probabilistic Time Series Forecasting via Conditioned Normalizing Flows

Kashif Rasul, Abdul-Saboor Sheikh+3 more|arXiv (Cornell University)|Feb 14, 2020

Time Series Analysis and Forecasting参考文献 46被引用数 55

ひとこと要約

本論文は、RNN/Transformer状態に条件付けされた自己回帰条件付き正規化フローモデル（Real NVP/MAF）を提案し、高次元の多変量時系列の不確実性を伴う予測を行い、いくつかのデータセットで最先端の結果を達成します。

ABSTRACT

Time series forecasting is often fundamental to scientific and engineering problems and enables decision making. With ever increasing data set sizes, a trivial solution to scale up predictions is to assume independence between interacting time series. However, modeling statistical dependencies can improve accuracy and enable analysis of interaction effects. Deep learning methods are well suited for this problem, but multivariate models often assume a simple parametric distribution and do not scale to high dimensions. In this work we model the multivariate temporal dynamics of time series via an autoregressive deep learning model, where the data distribution is represented by a conditioned normalizing flow. This combination retains the power of autoregressive models, such as good performance in extrapolation into the future, with the flexibility of flows as a general purpose high-dimensional distribution model, while remaining computationally tractable. We show that it improves over the state-of-the-art for standard metrics on many real-world data sets with several thousand interacting time-series.

研究の動機と目的

• 確率的で多変量の時系列予測を一変量または独立仮定を超えて動機づける。
• 何千もの相互作用する時系列間の依存関係を捕捉するエンドツーエンドの訓練可能なモデルを開発する。
• 自己回帰ダイナミクスと、条件付き正規化フローによる柔軟な密度推定を組み合わせる。
• 実世界データセットでのスケーラビリティと競争力のある性能を示す。
• RNNとTransformerを用いた conditioning メカニズムを探索し、時間的構造を捉える。

提案手法

• フロー（Real NVP または MAF）で p(X_t|h_t) の条件付き結合分布を、自己回帰状態 h_t に条件付けてモデル化する。
• 自己回帰のバックボーン（RNN または Transformer）を用い、フローの条件付けを生成する。
• SGD/Adam を用いて時間ステップと系列全体で条件付き対数尤度を最大化して訓練する。
• 訓練 stabilizing のため、系列ごとの平均スケーリングによる正規化を適用し、性能を向上させる。
• 条件付けは h をフロー入力に連結するか、バイアス項として扱い、ヤコビ行列の特性を保持する。
• learned h_t に条件付けされたフローからサンプリングして推論を行い、軌跡サンプリングと不確実性評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 高次元時系列の全結合分布を Conditioned normalizing flows で効率的にモデル化できるか？
• RQ2 自己回帰条件付け（RNN または Transformer）は、数千の相互作用する系列のスケーラブルで正確な確率予測を可能にするか？
• RQ3 条件付けは、系列間の共分散構造と時間的ダイナミクスの捕捉能力にどのように影響するか？
• RQ4 実世界のベンチマークで、flow ベースの多変量予測の経験的性能（CRPS）は最先端手法と比較してどうか？

主な発見

Data set	Vec-LSTM ind-scaling	Vec-LSTM lowrank-Copula	GP scaling	GP Copula	LSTM Real-NVP	LSTM MAF	Transformer MAF
Exchange	0.008 ± 0.001	0.007 ± 0.000	0.009 ± 0.000	0.007 ± 0.000	0.0064 ± 0.003	0.005 ± 0.003	0.005 ± 0.003
Solar	0.391 ± 0.017	0.319 ± 0.011	0.368 ± 0.012	0.337 ± 0.024	0.331 ± 0.020	0.315 ± 0.023	0.301 ± 0.014
Electricity	0.025 ± 0.001	0.064 ± 0.008	0.022 ± 0.000	0.024 ± 0.002	0.024 ± 0.001	0.0208 ± 0.000	0.0207 ± 0.000
Traffic	0.087 ± 0.041	0.103 ± 0.006	0.079 ± 0.000	0.078 ± 0.002	0.078 ± 0.001	0.069 ± 0.002	0.056 ± 0.001
Taxi	0.506 ± 0.005	0.326 ± 0.007	0.183 ± 0.395	0.208 ± 0.183	0.175 ± 0.001	0.161 ± 0.002	0.179 ± 0.002
Wikipedia	0.133 ± 0.002	0.241 ± 0.033	1.483 ± 1.034	0.086 ± 0.004	0.078 ± 0.001	0.067 ± 0.001	0.063 ± 0.003

• 提案された LSTM-Real-NVP、LSTM-MAF、Transformer-MAF は六つの実世界データセットで最先端の CRPS_sum を達成。
• Transformer-MAF および RNN 条件付きフローは、Vec-LSTM や GP ベースの方法を含む競合ベースラインを複数の指標で上回る。
• データに観察されるクロス共分散構造は、モデルからサンプルを引くことでほぼ回復され、依存学習が良好であることを示す。
• 自己回帰条件付けを用いたフロー生成は、数千の相互作用する時系列へとスケールし、計算的にも実現可能である。
• MAF は評価設定で一般に Real-NVP より密度モデリングが優れている。