[論文レビュー] Multivariate Quantile Function Forecaster

Kelvin K.W. Kan, François-Xavier Aubet+5 more|arXiv (Cornell University)|Feb 23, 2022

Forecasting Techniques and Applications被引用数 8

ひとこと要約

この論文では、入力凸ニューラルネットワークの勾配を用いて、単調性を保証し、分位数の交差を回避する、マルチステップ確率的予測の共同分布をモデル化する新規な多次元分位数関数予測器MQF²を提案する。時間的依存性を蓄積誤差なしに捉えることで、自己回帰的および独立的なマルチホライズンモデルを凌ぎ、最先端の性能を達成する。

ABSTRACT

We propose Multivariate Quantile Function Forecaster (MQF$^2$), a global probabilistic forecasting method constructed using a multivariate quantile function and investigate its application to multi-horizon forecasting. Prior approaches are either autoregressive, implicitly capturing the dependency structure across time but exhibiting error accumulation with increasing forecast horizons, or multi-horizon sequence-to-sequence models, which do not exhibit error accumulation, but also do typically not model the dependency structure across time steps. MQF$^2$ combines the benefits of both approaches, by directly making predictions in the form of a multivariate quantile function, defined as the gradient of a convex function which we parametrize using input-convex neural networks. By design, the quantile function is monotone with respect to the input quantile levels and hence avoids quantile crossing. We provide two options to train MQF$^2$: with energy score or with maximum likelihood. Experimental results on real-world and synthetic datasets show that our model has comparable performance with state-of-the-art methods in terms of single time step metrics while capturing the time dependency structure.

研究の動機と目的

• 多次元設定における時間ステップ間の時間的依存性を正しくモデル化できない既存の確率的予測手法の限界を解消すること。
• 最適輸送理論と凸解析を活用して、単変量分位数関数予測を多次元に拡張すること。
• 蓄積誤差を回避しながらも現実的なサンプルパスを保つ、グローバルで自己回帰的でない予測手法を開発すること。
• サプライチェーンおよび在庫管理における意思決定支援のための正確で整合的かつ解釈可能な確率的予測を可能にすること。
• エネルギースコアまたは最尤推定を用いる柔軟な学習フレームワークを提供し、頑健でスケーラブルな推論を可能にすること。

提案手法

• MQF²は、凸関数の勾配として多次元分位数関数をモデル化し、入力凸ニューラルネットワークでパラメータ化することで単調性を保証し、分位数の交差を回避する。
• Brenierの定理とKnott-Smith最適性基準を用いて、二次コストを伴う最適輸送問題の解として多次元分位数関数を定義する。
• エネルギースコア最小化（頑健な多次元キャリブレーション用）と凸ポテンシャルフローによる最尤推定（密度ベース学習用）の2つの学習目的をサポートする。
• RNNベースの特徴抽出器を分位数関数モデルと組み合わせ、逐次的なコンテキストを処理し、連携されたマルチステップ予測を生成する。
• サンプルパスは直接分位数関数から生成され、時間的整合性と依存構造が保持される。
• エネルギースコアまたは尤度の目的関数を用いてエンドツーエンドで学習されるため、柔軟でスケーラブルな推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 時間的依存性を保ちながら、連携されたマルチステップ確率的予測を効果的にモデル化する目的で、多次元分位数関数を用いることは可能か？
• RQ2 凸関数の勾配として分位数関数をモデル化することで、多次元設定において分位数の交差を防ぎ、単調性を保証できるか？
• RQ3 MQF²は、自己回帰的およびマルチホライズンのシーケンス・トゥ・シーケンスモデルと比較して、時間的依存性構造をどれほど正確に捉えられるか？
• RQ4 MQF²は、蓄積誤差なしに、真の時系列ダイナミクスを反映した整合的で現実的なサンプルパスを生成できるか？
• RQ5 エネルギースコアは、多次元分位数関数予測のための実用的で頑健な学習目的として適しているか？

主な発見

• 合成ガウス過程データにおいて、MQF²はMQCNNおよびDeepARを上回り、相関行列推定の平均絶対誤差（MAE）が最小であった。
• 実世界のデータセットにおいて、MQF²は最先端モデルと同等の1ステップ予測精度を達成しながら、明示的に時間的依存性をモデル化している。
• MQF²が生成するサンプルパスは、滑らかで時間的整合性があり、MQCNNとは異なり、独立した不規則なサンプルを生成する。
• エネルギースコアの学習目的は効果的で頑健であり、明示的な密度推定を必要とせず、高品質な多次元キャリブレーションを可能にした。
• MQF²は自己回帰モデルの主な限界である予測ホライズンにわたる蓄積誤差を回避しながら、1変量指標においても競争力のある性能を維持している。
• モデルは分位数関数から直接整合的なサンプルパスを生成可能であり、在庫管理などの応用分野における意思決定支援にとって不可欠である。