[論文レビュー] Bayesian Recurrent Neural Network Models for Forecasting and Quantifying Uncertainty in Spatial-Temporal Data

Patrick L. McDermott, Christopher K. Wikle|arXiv (Cornell University)|Nov 2, 2017

Forecasting Techniques and Applications被引用数 5

ひとこと要約

本稿では、RNNの予測性能と完全ベイズフレームワークによるきめ細やかな不確実性評価を統合したベイジアン再帰的ニューラルネットワーク（BAST-RNN）モデルを提案する。この手法は、ローレンツ混合、ENSO、米国州レベルの失業率データを含む非線形時空間応用において、競合モデルよりも予測精度と不確実性推定の両方を向上させる。

ABSTRACT

Recurrent neural networks (RNNs) are nonlinear dynamical models commonly used in the machine learning and dynamical systems literature to represent complex dynamical or sequential relationships between variables. More recently, as deep learning models have become more common, RNNs have been used to forecast increasingly complicated systems. Dynamical spatio-temporal processes represent a class of complex systems that can potentially benefit from these types of models. Although the RNN literature is expansive and highly developed, uncertainty quantification is often ignored. Even when considered, the uncertainty is generally quantified without the use of a rigorous framework, such as a fully Bayesian setting. Here we attempt to quantify uncertainty in a more formal framework while maintaining the forecast accuracy that makes these models appealing, by presenting a Bayesian RNN model for nonlinear spatio-temporal forecasting. Additionally, we make simple modifications to the basic RNN to help accommodate the unique nature of nonlinear spatio-temporal data. The proposed model is applied to a Lorenz simulation and two real-world nonlinear spatio-temporal forecasting applications.

研究の動機と目的

• 非線形時空間予測における再帰的ニューラルネットワーク（RNN）の形式的不確実性評価の欠如に対処する。
• RNNの予測力は維持しつつ、きめ細やかな不確実性推定を可能にするベイジアンフレームワークを構築する。
• 空間的・時間的相互作用を有する複雑で高次元の力学的システムに対するモデルの柔軟性とロバスト性を向上させる。
• 多様な現実世界および合成時空間系において、予測精度と不確実性のキャリブレーションの両面でモデルの優位性を実証する。
• 複雑なプロセスにおける多段階不確実性を解明できる階層的ベイジアン機械学習モデルの基盤を提供する。

提案手法

• RNNの再帰的および出力重みに事前分布を設定することで、完全な事後分布推論を可能にするベイジアンRNN（BAST-RNN）を定式化する。
• MCMCサンプリングを用いてネットワークパラメータの事後分布を近似し、不確実性評価を可能にする。
• 局所的およびグローバルな空間的依存関係をよりよく捉えるために、標準的なRNNアーキテクチャに時空間的アテンション機構を組み込む。
• 大規模応用の計算効率を向上させるために、変分推論近似を統合する。
• 時間的ダイナミクスと空間相関を持つ時系列データにモデルを適用し、時間的に変化する潜在状態表現を用いる。
• 事後予測分布を用いて95%信用区間を伴う確率的予測を生成し、形式的な不確実性評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 RNNのベイジアン定式化は、予測精度を損なわずに非線形時空間予測における不確実性評価を向上させることができるか？
• RQ2 BAST-RNNモデルは、非ベイジアンRNNおよび従来の統計モデルと比較して、複雑な非線形力学的システムにおいてどのように性能を発揮するか？
• RQ3 BAST-RNNモデルは、ローレンツモデルのようなカオス的システムにおける複雑なアトラクタダイナミクスをどれほど正確に捉え、予測できるか？
• RQ4 ENSOや地域的失業トレンドのような多様な現実世界の時空間プロセスに、モデルはどれほど一般化できるか？
• RQ5 ベイジアンフレームワークは、高次元時空間データにおける複数スケールの不確実性を階層的にモデリングするのに適しているか？

主な発見

• BAST-RNNモデルは、ローレンツ系、ENSO、米国州レベルの失業率の3つの応用において、E-QESN、GQN、Linear DSTMモデルと比較して優れた予測精度を達成した。
• 2008–2016年の米国失業率応用において、特に回復が遅れたり複雑なサイクルを示した州において、経済回復期の失業率低下を最も正確に捉えた。
• モデルはwell-calibratedな95%事後予測区間を生成し、図4の色分けされた信用区間が、競合モデルと比較して観測されたトレンドをより一貫してカバーした。
• ENSOサイクル（2015–2016年）において、ピークおよび減衰フェーズの捉えにくさにもかかわらず、全体のトレースを正しく予測した。不確実性を考慮した予測において、他のモデルを上回った。
• BAST-RNNは高ノイズ下でのマルチスケールローレンツ系を成功裏にモデル化し、カオス的ダイナミクスおよび非線形相互作用に対してロバストであることを示した。
• モデルが準線形（例：SST、失業率）および高非線形（例：ローレンツ）システムの両方を扱える能力は、非線形性の程度が異なる多様なシステムへの柔軟性を示している。