[論文レビュー] Learning Quantile Functions without Quantile Crossing for Distribution-free Time Series Forecasting

Youngsuk Park, Danielle C. Maddix+4 more|arXiv (Cornell University)|Nov 12, 2021

Gaussian Processes and Bayesian Inference参考文献 23被引用数 11

ひとこと要約

本稿では、分位数の交差を防ぎ、再訓練を必要とせずに分布フリーな確率的時系列予測を可能にする、ニューラルネットワークベースのフレームワークであるインクリメンタル（スプライン）分位数関数（I(S)QF）を提案する。可学習なスプライン層を用いて単調性を強制し、解析的CRPS評価を可能にすることで、任意の分位数における補間および外挿が可能となり、複数のベンチマークにおいて予測の一貫性と精度が著しく向上する。

ABSTRACT

Quantile regression is an effective technique to quantify uncertainty, fit challenging underlying distributions, and often provide full probabilistic predictions through joint learnings over multiple quantile levels. A common drawback of these joint quantile regressions, however, is extit{quantile crossing}, which violates the desirable monotone property of the conditional quantile function. In this work, we propose the Incremental (Spline) Quantile Functions I(S)QF, a flexible and efficient distribution-free quantile estimation framework that resolves quantile crossing with a simple neural network layer. Moreover, I(S)QF inter/extrapolate to predict arbitrary quantile levels that differ from the underlying training ones. Equipped with the analytical evaluation of the continuous ranked probability score of I(S)QF representations, we apply our methods to NN-based times series forecasting cases, where the savings of the expensive re-training costs for non-trained quantile levels is particularly significant. We also provide a generalization error analysis of our proposed approaches under the sequence-to-sequence setting. Lastly, extensive experiments demonstrate the improvement of consistency and accuracy errors over other baselines.

研究の動機と目的

• 時系列予測における連合分位数回帰における分位数の交差を解消し、条件付き分位数関数の単調性を保つこと。
• 深層学習ベースの予測において、訓練済みでない分位数レベルでの予測に再訓練が必要な問題を解消すること。
• 単調性と分布フリーの仮定を維持したまま、任意の分位数レベルにおける柔軟な補間および外挿を可能にすること。
• マルチホライズン、マルチ分位数のシーケンス・ツー・シーケンス予測における一般化誤差解析を提供すること。
• ガウス分布、SQF、および標準的な分位数ヘッドと比較して、一貫性と精度の両面で優れた性能を示すこと。

提案手法

• I(S)QFは、分位数関数を区分線形スプラインでパラメータライズするニューラルネットワーク層を導入し、単調性を保証し、分位数の交差を防止する。
• 訓練時の分位数レベルに固定されたキーノードを持つ可学習スプライン層を用い、それらの間での滑らかな補間と外側のパラメトリックな外挿を可能にする。
• 連続ランク確率スコア（CRPS）の解析的計算をサポートし、モンテカルロサンプルを用いない効率的な学習と評価を実現する。
• シーケンス・ツー・シーケンスモデル（例：MQ-CNN）に統合することで、スプライン層による単調性の強制を伴うエンド・ツー・エンドの学習を可能にする。
• 任意の分位数レベル数に一般化可能であり、訓練範囲内での補間および訓練範囲外での外挿を両方サポートする。
• マルチホライズン予測におけるステーションナリティの仮定の下、ラデマッハ複雑度と乖離測度を用いた一般化誤差解析を実施する。

実験結果

リサーチクエスチョン

• RQ1 時系列予測において、分位数の交差を回避しつつ、条件付き分位数関数の単調性を保証するニューラルネットワーク層を設計可能か？
• RQ2 再訓練を必要とせずに、任意の分位数レベルでの正確な補間および外挿が可能か？
• RQ3 I(S)QFにおける解析的CRPS計算は、サンプリングベースの手法と比較して、より安定的かつ効率的な学習を実現するか？
• RQ4 マルチホライズン予測において、標準的な分位数ヘッド、ガウス尤度、およびSQFと比較して、I(S)QFの一般化性能はどのように評価されるか？
• RQ5 パラメトリック尤度を仮定せずとも、I(S)QFは複雑でマルチモーダルまたは重たい尾を持つ分布を効果的にモデル化できるか？

主な発見

• I(S)QFはM4予測ベンチマークで最先端の性能を達成し、ガウス分布、SQF、および標準的な分位数ヘッドのベースラインを両方の指標（精度と一貫性）で上回った。
• M4データセットでは、5つの訓練キーノードを用いたISQFがM4-dailyで平均CRPS 0.042 ± 0.001を達成し、次善の手法（SQF）を12.5%のCRPS差で上回った。
• M4-weeklyでは、ISQFがMSIS[0.1]スコアを65.8 ± 5.3まで低下させ、ガウスベースラインの80.4 ± 7.2を著しく下回った。
• 重たい尾を持つ分布（例：コーシー分布）やマルチモーダルデータのモデル化においても、キーノード数を5から20に増やすことで適合性が向上した。
• 外挿性能も優れており、M4-weeklyにおいてISQFは98%予測区間のMSIS[0.02]を157.6 ± 31.2まで低下させ、SQF（50.8 ± 5.8）とガウス分布（80.4 ± 7.2）を上回った。
• 一般化誤差解析により、I(S)QFがマルチホライズン・マルチ分位数設定において低ラデマッハ複雑度と乖離を維持していることが確認され、強い一般化性能を示した。