[論文レビュー] The Neural Moving Average Model for Scalable Variational Inference of State Space Models

Tom Ryder, Dennis Prangle+2 more|arXiv (Cornell University)|Oct 2, 2019

Fault Detection and Control Systems被引用数 10

ひとこと要約

本稿では、潜在状態のサンプリングにおける局所性を保証することで、スケーラブルなミニバッチ変分推論を可能にする、状態空間モデルのための新規生成フレームワーク「Neural Moving Average (nMA)」モデルを提案する。有限の受容 field を持つ畳み込みニューラルネットワークを用いることで、部分列の O(1) コストでの効率的サンプリングが可能となり、確率的勾配最適化が促進され、長時間系列でさえも、疎な観測や部分的観測が存在する状況においても、数分で高精度なパrameter 推定が達成できる。

ABSTRACT

Variational inference has had great success in scaling approximate Bayesian inference to big data by exploiting mini-batch training. To date, however, this strategy has been most applicable to models of independent data. We propose an extension to state space models of time series data based on a novel generative model for latent temporal states: the neural moving average model. This permits a subsequence to be sampled without drawing from the entire distribution, enabling training iterations to use mini-batches of the time series at low computational cost. We illustrate our method on autoregressive, Lotka-Volterra, FitzHugh-Nagumo and stochastic volatility models, achieving accurate parameter estimation in a short time.

研究の動機と目的

• 長時間系列の状態空間モデルにおけるベイズ推論の計算的非実行可能性（尤度評価コストが O(T) であることによる）を解消すること。
• 連続的状態 SSM に対して、効率的なミニバッチ学習を可能にする局所性の性質を持つ変分族を導入することで、スケーラブルな変分推論を実現すること。
• 複雑な時系列依存性を捉えつつ、ミニバッチからの不偏な対数密度推定を可能にする潜在状態の生成モデルを開発すること。
• 実世界のデータも含め、疎な観測、部分的状態アクセス、低観測ノイズ、大きな T を有する挑戦的な SSM において、有効性を実証すること。

提案手法

• 独立同一分布の N(0,1) ノイズと観測データを入力として、畳み込み変換により潜在状態を生成する正規化フローに基づく生成モデルである Neural Moving Average (nMA) モデルを提案する。
• 有限の受容 field を持つ CNN を用いることで、各潜在状態が入力の局所的ウィンドウにのみ依存するようにし、部分列の O(1) サンプリングを可能にする。
• nMA を正規化フローとして扱うことで、ミニバッチサンプルから全潜在状態チェーンの不偏な対数密度推定が可能となる。
• ミニバッチ勾配を用いて、近似事後分布と真の事後分布の KL 散発を最小化する確率的勾配変分推論を採用する。
• 推論の効率化のため、認識ネットワークを用いたアモアタイズド推論により、変分事後分布 q(x|y;φ) をパrameter 化する。
• 自己回帰的モデル、Lotka-Volterra モデル、FitzHugh-Nagumo モデル、および確率的ボラティリティ モデルにこのフレームワークを適用し、長時間系列におけるスケーラブルな学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 潜在状態のミニバッチサンプリングを可能にするために、状態空間モデルのための変分推論法が、1 回の学習反復あたり O(1) コストを達成できるか？
• RQ2 潜在状態のニューラル生成モデルが、部分列からの不偏な全対数密度推定を可能とし、スケーラブルな推論を実現できるか？
• RQ3 提案された nMA を用いた変分推論法が、長時間系列、疎な観測、未観測成分を有する SSM において、高精度なパrameter 推定を達成できるか？
• RQ4 確率的ボラティリティ や FitzHugh-Nagumo モデルのような挑戦的な SSM において、既存手法と比較して精度と学習時間の両面で優れているか？

主な発見

• nMA モデルは、CNN の受容 field を制限することで、潜在状態部分列の O(1) サンプリングを可能にし、ミニバッチ学習に必要な局所性の性質を満たしている。
• 本手法は、未観測成分や疎な観測が存在するすべてのテストモデルにおいて、高精度な事後分布推定を達成しており、一部のケースでは真の事後分布と区別できない結果を得ている。
• 1,000,000 ステップの FitzHugh-Nagumo モデルに対する学習は約 180 分で実施され、真の値と整合的なパrameter 推定が得られた。
• 1,508 週間分の観測データを用いた確率的ボラティリティ モデルの解析は、1 枚の GPU でわずか 20 分で実施され、先行研究の MCMC の結果と一致した。
• 長時間系列において、特に高いスケーラビリティを発揮しながら、従来の変分手法を上回る学習速度と高い精度を達成している。
• 低観測分散や部分的状態観測といった挑戦的な観測環境に対しても、本手法は強靭で柔軟な性能を示しており、実用的である。