[論文レビュー] C2FAR: Coarse-to-Fine Autoregressive Networks for Precise Probabilistic Forecasting

Shane Bergsma, Timothy Zeyl+2 more|arXiv (Cornell University)|Dec 22, 2023

Time Series Analysis and Forecasting被引用数 7

ひとこと要約

C2FARは、1変数数値出力の階層的粗→細離散化を提示し、離散データ・連続データ・混合データを扱う自己回帰的確率予測を可能にします。これにより、最先端手法と比較して分布回復と予測精度が向上します。

ABSTRACT

We present coarse-to-fine autoregressive networks (C2FAR), a method for modeling the probability distribution of univariate, numeric random variables. C2FAR generates a hierarchical, coarse-to-fine discretization of a variable autoregressively; progressively finer intervals of support are generated from a sequence of binned distributions, where each distribution is conditioned on previously-generated coarser intervals. Unlike prior (flat) binned distributions, C2FAR can represent values with exponentially higher precision, for only a linear increase in complexity. We use C2FAR for probabilistic forecasting via a recurrent neural network, thus modeling time series autoregressively in both space and time. C2FAR is the first method to simultaneously handle discrete and continuous series of arbitrary scale and distribution shape. This flexibility enables a variety of time series use cases, including anomaly detection, interpolation, and compression. C2FAR achieves improvements over the state-of-the-art on several benchmark forecasting datasets.

研究の動機と目的

• 異種スケールと混合離散/連続データを有する時系列の確率予測を動機づける。
• 指数的に高い精度を線形パラメータ増加で得る粗→細離散化を導入する。
• 自己回帰モデルを開発し、階層的ビンインデックスと開放的テールの最終的パラメトリック分布を生成する。
• C2FARをDeepARスタイルの予測と組み合わせ、空間・時間の両方で時系列を自己回帰的にモデル化する。
• 複数データセットで分布回復と forecast accuracy の実証的利得を示す。

提案手法

• 階層的なBレベル離散化 z = d(z) を各レベル B でビンを持つ構造として定義し、K-分岐区間木を形成する。
• p(z|x) を p(z^i | x, z^{<i}) の条件付きの積としてモデル化し、各 z^i は B_i 本のビンのカテゴリカル分布である。
• ニューラルネットワークを用いてレベルごとの条件付き分布をソフトマックス出力でパラメータ化し、エンドツーエンドのNLL学習を可能にする。
• 最終レベル B+1 では、実際の値を外れ値区間端点に条件づけたパラメトリック分布（Uniform または Pareto テール）から生成する。
• DeepARを拡張して出力を z_t = d(z_t) に離散化し、各レベルのLSTMを用いてステップ内ビンインデックスを自己回帰的に生成する予測フレームワーク（C2FAR-RNN）を採用する。
• 出力の複雑さを、出力数（K^B 区間）で対数的に増加し、パラメータ数は線形（KB）であることを示す解析を提供する。
• 学習は離散化出力に対するNLLを最適化する。予測のサンプリングは粗→細のビン生成と最終的テール分布のサンプリングに従う。

(a) Flat binning

実験結果

リサーチクエスチョン

• RQ1 階層的な粗→細離散化は、離散・連続・混合データを含む1変数数値出力の確率予測を改善できるか。
• RQ2 C2FARは、フラットなビニングに比べてパラメータ増加線形でより高精度の表現を可能にし、予測精度とキャリブレーションを維持・向上できるか。
• RQ3 DeepARスタイルの自己回帰予測に組み込んだ場合、実世界データセットのさまざまなスケールと分布でどう機能するか。
• RQ4 多段階のC2FARモデルのモデル構造・学習時間・チューニングの実務的トレードオフは、フラットビニングや標準的なパラメトリック出力と比べてどうか。

主な発見

Dataset	ND% (Naïve)	wQL% (Naïve)	Cov80% (Naïve)	Cov99% (Naïve)	ND% (Seasonal-naïve)	wQL% (Seasonal-naïve)	Cov80% (Seasonal-naïve)	Cov99% (Seasonal-naïve)	ND% (ETS)	wQL% (ETS)	Cov80% (ETS)	Cov99% (ETS)	ND% (DeepAR-Gaussian)	wQL% (DeepAR-Gaussian)	Cov80% (DeepAR-Gaussian)	Cov99% (DeepAR-Gaussian)	ND% (C2FAR-RNN1)	wQL% (C2FAR-RNN1)	Cov80% (C2FAR-RNN1)	Cov99% (C2FAR-RNN1)	ND% (C2FAR-RNN2)	wQL% (C2FAR-RNN2)	Cov80% (C2FAR-RNN2)	Cov99% (C2FAR-RNN2)	ND% (C2FAR-RNN3)	wQL% (C2FAR-RNN3)	Cov80% (C2FAR-RNN3)	Cov99% (C2FAR-RNN3)
elec	40.8	73.6	35.7	3.49	6.97	25.1	33.2	3.67	8.61	33.3	34.3	7.05	16.1	43.8	3.60	6.14	13.0	24.6	2.95	4.87	10.7	21.3	2.41	6.00	13.3	24.1	2.77
traff	6.97	25.1	33.2	3.67	6.97	25.1	33.2	3.67	8.40	31.5	32.5	5.60	13.7	54.7	3.06	4.76	10.9	21.0	2.77	4.76	10.9	21.0	2.27	4.76	10.9	21.0	2.27
wiki	-	-	-	-	-	-	-	-	89.9	16.9	98.0	-	-	-	-	86.0	8.9	-	-	-	-	-	-	-	-	-	-
azure	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-	-

• より深い C2FAR モデル（レベル数が多いほど）は、フラットなビニングより複数データセットで改善する。
• C2FAR-RNN3 は Elec、Traff、Wiki、Azure のデータセットで、DeepAR-Gaussian および他のベースラインと比較して較正性とシャープネスが競合的または優れる。
• C2FAR は合成データでの分布回復を正確に可能にし、Gaussian mixtures と離散一様分布の回復で SQF-RNN および IQN-RNN を上回る。
• C2FAR による離散化は、RNNベースの予測において最先端の出力分布よりも予測精度と確率的キャリブレーションを大幅に改善する。
• 適切なハイパーパラメータ調整があれば、平坦なビニングとC2FARは標準的なパラメトリック出力を凌駕する場合があり、多段階のC2FAR モデルはさらなる利得を生む。
• このアプローチは離散系列と連続系列の同時モデリングをサポートし、多くのケースでカバレッジが改善され、予測区間が狭まる（Cov80、Cov99）。

(b) 2-level C2F binning