[論文レビュー] Learning Interpretable Deep State Space Model for Probabilistic Time Series Forecasting

Long-yuan Li, Junchi Yan+2 more|arXiv (Cornell University)|Jan 31, 2021

Time Series Analysis and Forecasting参考文献 23被引用数 7

ひとこと要約

この論文は、ニューラルネットワークを用いて非線形な発生および遷移ダイナミクスをモデル化し、不確実性を意識した特徴選択を備えた自動関連性決定（ARD）ネットワークを介して外部変数を統合し、モンテカルロサンプリングによりマルチステップ予測を生成する、確率的時系列予測を目的としたディープステートスケールモデル（DSSMF）を提案する。モデルは、時間の経過に伴い自然に不確実性が増加する鋭い、不確実性にキャリブレーションされた予測を生成し、関連する外部要因を効果的に同定する。

ABSTRACT

Probabilistic time series forecasting involves estimating the distribution of future based on its history, which is essential for risk management in downstream decision-making. We propose a deep state space model for probabilistic time series forecasting whereby the non-linear emission model and transition model are parameterized by networks and the dependency is modeled by recurrent neural nets. We take the automatic relevance determination (ARD) view and devise a network to exploit the exogenous variables in addition to time series. In particular, our ARD network can incorporate the uncertainty of the exogenous variables and eventually helps identify useful exogenous variables and suppress those irrelevant for forecasting. The distribution of multi-step ahead forecasts are approximated by Monte Carlo simulation. We show in experiments that our model produces accurate and sharp probabilistic forecasts. The estimated uncertainty of our forecasting also realistically increases over time, in a spontaneous manner.

研究の動機と目的

• 発生および遷移ダイナミクスの柔軟で非線形なモデリングを可能にする、確率的時系列予測を実現するディープステートスケールモデルの開発。
• 自動関連性決定（ARD）ネットワークを用いた鍵となる外部変数の同定により、モデルの解釈性を向上させること。
• 外部変数の不確実性をモデル化することで、特徴選択のロバストネスを向上させること。
• モンテカルロシミュレーションを用いて、正確で鋭いマルチステップ確率的予測を生成すること。
• 予測の不確実性が時間の経過に伴い自然に増加するように保証し、長期予測における現実的なリスク伝播を反映すること。

提案手法

• 時系列データ内の複雑な非線形依存関係を捉えるために、ステートスケールモデルの発生および遷移モデルをディープニューラルネットワークでパrameter化する。
• 時間ステップ間の時間的依存関係をモデル化するために、再帰的ニューラルネットワーク（RNN）を用いる。
• 外部変数の関連性を推定するARDネットワークを導入し、自動特徴選択を可能にする。
• 外部変数の不確実性をモンテカルロサンプリングによりモデル化し、関連性推定のロバストネスを向上させる。
• マルチステップ予測の完全な予測分布を近似するためにモンテカルロシミュレーションを用いる。
• トレーニングの実行可能性を確保するため、再パrameter化を用いた変分推論を適用する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークによるパrameter化が施されたディープステートスケールモデルは、実世界の時系列データにおいて、正確で鋭い確率的予測を達成できるか？
• RQ2 ARDベースのネットワークは、関連のないか、ノイズの強い変数を抑制しながら、関連する外部変数をどれほど効果的に同定できるか？
• RQ3 外部変数の不確実性をモデル化することで、特徴選択のロバストネスと解釈性が向上するか？
• RQ4 明示的なキャリブレーションなしに、予測の不確実性が時間の経過に伴い自然に増加するか？
• RQ5 不確実性を意識した外部変数選択を組み込むことで、標準的なベースラインと比較して予測精度がどのように向上するか？

主な発見

• 提案されたDSSMFモデルは、GEFCom2014および北京PM2.5データセットを含む公開ベンチマークにおいて、最先端の手法を上回る確率的予測精度を達成した。
• モデルの予測不確実性は、予測期間に伴い自然に増加し、手動のチューニングなしに現実的なリスク伝播を反映している。
• ARDネットワークは、時刻、営業時間、特定の気象観測所からの気温といった関連する外部変数を効果的に同定した一方で、意図的に追加されたノイズ変数には低い関連性を割り当てた。
• 電力価格予測において、モデルはゾーン負荷および総システム負荷を主要な需要指標として同定し、分野の知識と整合した。
• PM2.5予測において、モデルは風向きおよび風速が関連要因として適切に同定された。これは、汚染物質が地域的な大気の流れに影響を受けるという仮説を支持する。
• 気象データが予測期間中に不正確であっても、外部入力の不確実性を意識したモデリングのおかげで、高い予測精度を維持するロバストネスを示した。