[論文レビュー] Deep Generative Quantile-Copula Models for Probabilistic Forecasting

Ruofeng Wen, Kari Torkkola|arXiv (Cornell University)|Jul 24, 2019

Neural Networks and Applications参考文献 19被引用数 13

ひとこと要約

本稿では、深層ニューラルネットワークを用いて全 quantile 関数をモデル化し、条件付きコプシラと組み合わせて多次元依存構造を捉えることで、多期間予測の分位数予測を拡張する新規な条件付き生成フレームワークである Deep Generative Quantile-Copula Models (DGQCM) を提案する。この手法により、高精度を維持したまま、完全な同時確率的予測とシミュレーションが可能となり、時系列応用において既存の暗黙的生成モデルを上回る性能を発揮する。

ABSTRACT

We introduce a new category of multivariate conditional generative models and demonstrate its performance and versatility in probabilistic time series forecasting and simulation. Specifically, the output of quantile regression networks is expanded from a set of fixed quantiles to the whole Quantile Function by a univariate mapping from a latent uniform distribution to the target distribution. Then the multivariate case is solved by learning such quantile functions for each dimension's marginal distribution, followed by estimating a conditional Copula to associate these latent uniform random variables. The quantile functions and copula, together defining the joint predictive distribution, can be parameterized by a single implicit generative Deep Neural Network.

研究の動機と目的

• 既存の多期間分位数予測モデルが限界を示す点、すなわち周辺分布しか出力せず、生成能力に欠けることに対処すること。
• 多次元時系列の完全な同時予測分布を捉える条件付き生成モデルを構築すること。
• 全分位数関数と依存構造をモデル化することで、効率的かつ一貫性のある確率的シミュレーションと異常検知を可能にすること。
• 標準的な暗黙的生成モデルが、とくに希なコンテキスト条件下で、条件付き時系列予測と不適合である問題を克服すること。
• 分位数回帰の精度と生成モデリングの柔軟性を統合した包括的なフレームワークを提供すること。

提案手法

• 各時系列次元の条件付き周辺分位数関数を、潜在的な一様変数を目的分布にマッピングする深層ニューラルネットワークでパrameter化する。
• 潜在的一様変数（周辺分位数関数から導出）間の依存構造を捉える条件付きコプシラを学習することで、結合分布をモデル化する。
• 適切なスコアルールを用いてエンド・ツー・エンドで訓練することで、希なコンテキストデータでも一貫性があり安定した最適化が可能になる。
• 明示的な逆変換や制限的なフロー制約を避けるために、1つの暗黙的生成ネットワークを用いて分位数関数とコプシラを同時にパラメータ化する。
• シミュレーションのための完全なサンプルパス生成をサポートし、予測密度推定により異常検知を可能にする。
• 離散的分位数出力のための手動補間やパラメトリックフィッティングの必要性を回避するため、全分位数関数を学習する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルを設計することで、分位数回帰の精度を維持しつつ、多次元時系列の完全な同時予測分布を出力できるか？
• RQ2 固定された分位数集合に依存せずに、深層ニューラルネットワークを用いて全分位数関数を効率的にモデル化できるか？
• RQ3 条件付きコプシラは、深層ニューラルネットワークの表現力と併せて、複数時系列間の依存関係を効果的にモデル化できるか？
• RQ4 提案されたフレームワークは、既存の暗黙的生成モデルを上回る性能を示すか？
• RQ5 モデルは、在庫管理や強化学習などの下流応用に適した一貫性があり高品質なサンプルパスを生成できるか？

主な発見

• 提案された DGQCM フレームワークは、時系列ベンチマークにおいて、VAE や GAN、WaveNet、ベイジアンドロップアウトモデルを大きく上回る最先端の性能を達成した。
• 本モデルは、標準的な多期間分位数予測モデルではネイティブにサポートされていない完全な同時サンプルパス生成を可能にした。
• 全分位数関数を学習することで、離散的分位数出力のための複雑な補間やパラメトリックフィッティングの必要性を回避した。
• 条件付きコプシラは、複数時系列の相関関係を効果的に捉えており、独立して扱うことなく、複数時系列の同時モデリングを可能にした。
• 高い精度を維持したまま、完全に生成可能で微分可能かつスケーラブルな確率的予測ソリューションを提供した。
• 実験的結果から、結合分布推定における Mesh アプローチに見られる統計的不整合が、本フレームワークによって低減されたことが示された。