[論文レビュー] Probabilistic Time Series Forecasting with Implicit Quantile Networks

Adèle Gouttes, Kashif Rasul+3 more|arXiv (Cornell University)|Jul 8, 2021

Gaussian Processes and Bayesian Inference参考文献 27被引用数 10

ひとこと要約

本稿では、自己回帰的RNNと暗黙的分位数ネットワーク（IQNs）を組み合わせることで、特定のパラメトリックな形式を仮定せずに複雑な非パラメトリック出力分布をモデル化する、確率的時系列予測のための深層学習フレームワーク、IQN-RNNを提案する。この手法は、エンド・トゥ・エンドの学習により連続ランク確率スコア（CRPS）を最小化することで、実世界のデータセットにおいて点予測および確率的予測精度の両面で最先端の性能を達成する。

ABSTRACT

Here, we propose a general method for probabilistic time series forecasting. We combine an autoregressive recurrent neural network to model temporal dynamics with Implicit Quantile Networks to learn a large class of distributions over a time-series target. When compared to other probabilistic neural forecasting models on real- and simulated data, our approach is favorable in terms of point-wise prediction accuracy as well as on estimating the underlying temporal distribution.

研究の動機と目的

• 基礎となるデータ分布の特定のパラメトリックな形式を仮定しない一般化された確率的時系列予測手法の開発。
• 暗黙的分位数ネットワークを用いて予測分布の全貌をモデル化することで、点予測および確率的予測の両方の精度を向上させる。
• ガウス分布や負の二項分布などのパラメトリック分布に依存せずに、不確実性推定を伴う時系列データに対する深層学習モデルのエンド・トゥ・エンド学習を可能にする。
• 実世界およびシミュレートされたデータセットにおいて、DeepAR や SQF-RNN といった既存のモデルと比較して競争力のある性能を示すこと。

提案手法

• モデルは、時系列的依存性を符号化するために自己回帰的RNNを用い、隠れ状態を過去の観測値および外生的特徴量に基づいて更新する。
• 出力分布は、一様乱数変数 τ ∈ [0,1] をターゲット分布の分位数値へ写像する暗黙的分位数ネットワーク（IQNs）によってモデル化される。
• IQNヘッドは、確率的予測のための適切なスコアルールである連続ランク確率スコア（CRPS）の被積分関数を最小化することで学習される。
• モデルは、ニューラルネットワークでパrameter化された決定的関数を介して、条件付き分位数関数 q(τ | X_t, y_{t-1}, ..., y_0) を学習する。
• τ ∈ [0,1] における分位数損失の統合を通じて、明示的な密度モデル化を伴わずに、全分布学習が可能となる。
• 同一直線的性（comonotonicity）の仮定の下で、単変量および多変量拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 特定のパラメトリックな形式を仮定しない深層学習モデルが、データ分布の特定のパラメトリックな形式を仮定せずに優れた確率的予測性能を達成できるか。
• RQ2 IQN-RNNは、DeepAR や SQF-RNN といった既存のRNNベースの確率的予測モデルと比較して、点予測および分布的精度の両面でどのように性能を発揮するか。
• RQ3 IQN-RNNは、連続的、有界的、カウントデータを含む多様な時系列分野にどの程度一般化可能か。
• RQ4 IQNsによる暗黙的分布学習は、モデルの複雑さを増加させることなく、より優れた不確実性の定量化をもたらすか。

主な発見

• IQN-RNNは、Electricity、Traffic、Wikipedia の3つの実世界データセットにおいて、すべてで最低のCRPSスコアを達成し、DeepAR、SQF-RNN、ETS を上回った。
• Electricityデータセットでは、IQN-RNNのCRPSは0.139であったのに対し、DeepAR-tは0.172、SQF-RNN-50は0.283であった。
• Electricityデータセットでは、IQN-RNNが点予測のRMSE（0.168）およびMAE（0.117）で最高を記録し、すべてのベースラインを上回った。
• モデルは、連続的（Electricity）、有界的（Traffic）、カウント（Wikipedia）の異なるデータタイプにおいても強固な性能を維持した。
• ベースラインと同一のRNNアーキテクチャおよびハイパーパrameterを用いても、IQN-RNNは優れた結果を達成しており、IQNヘッドの有効性が示された。
• 点予測精度が向上した場合でも、確率的指標に著しい性能低下が見られず、一貫した不確実性のキャリブレーションが実現していた。