[論文レビュー] Black box variational inference for state space models

Evan Archer, Il Memming Park+3 more|arXiv (Cornell University)|Nov 23, 2015

Gaussian Processes and Bayesian Inference参考文献 24被引用数 114

ひとこと要約

本稿では、ブロック三重対角逆共分散を備えた構造的ガウス近似事後分布を用いて、長時間系列における効率的で線形時間の推論を可能にするブラックボックス変分推論手法を、状態空間モデルに導入する。この手法は、精度と速度の両面で特化型手法を上回り、非線形ダイナミクスの回復や非共役モデルにおけるトレースの平滑化を実現する。

ABSTRACT

Latent variable time-series models are among the most heavily used tools from machine learning and applied statistics. These models have the advantage of learning latent structure both from noisy observations and from the temporal ordering in the data, where it is assumed that meaningful correlation structure exists across time. A few highly-structured models, such as the linear dynamical system with linear-Gaussian observations, have closed-form inference procedures (e.g. the Kalman Filter), but this case is an exception to the general rule that exact posterior inference in more complex generative models is intractable. Consequently, much work in time-series modeling focuses on approximate inference procedures for one particular class of models. Here, we extend recent developments in stochastic variational inference to develop a `black-box' approximate inference technique for latent variable models with latent dynamical structure. We propose a structured Gaussian variational approximate posterior that carries the same intuition as the standard Kalman filter-smoother but, importantly, permits us to use the same inference approach to approximate the posterior of much more general, nonlinear latent variable generative models. We show that our approach recovers accurate estimates in the case of basic models with closed-form posteriors, and more interestingly performs well in comparison to variational approaches that were designed in a bespoke fashion for specific non-conjugate models.

研究の動機と目的

• 正確な事後分布推論が困難な潜在変数時系列モデルに対して、スケーラブルで汎用的な推論手法を開発すること。
• モデル固有の導出を必要とせず、複雑で非線形的かつ非ガウス的な状態空間モデルにおいても効率的な事後分布近似を可能にすること。
• カルマンスムージングに類似した時間的依存性を捉えることができる変分事後分布を設計すること。
• 確率的勾配変分ベイズ（SGVB）を用いて、高速な収束と高品質な事後分布推定を達成すること。
• 線形および非線形動的システム、特にポisson線形動的システム（PLDS）を含む、両方のシステムに対して本手法の有効性を示すこと。

提案手法

• 時間的依存性をモデル化するため、ブロック三重対角逆共分散行列を備えた構造的ガウス変分事後分布を提案する。
• 深層ニューラルネットワーク（NN）を用いて、近似事後分布の平均および精度行列をパラメータ化し、観測に依存する柔軟な推論を可能にする。
• 確率的勾配変分ベイズ（SGVB）を用いて、ミニバッチ更新を通じて生成モデルのパラメータと変分パラメータを同時に最適化する。
• ブロック三重対角構造を活用することで、時間的・空間的計算量が線形時間（O(T)）で抑えられ、長時間系列へのスケーリングが可能になる。
• 認識モデル（NN）を用いて観測を直接平滑化事後分布にマッピングし、共役でない設定でもカルマンスムージングの挙動を模倣する。
• TheanoとLasagneを用いて実装し、認識モデルと生成モデルの両方を交互に更新する二重最適化フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 汎用的でブラックボックスな変分推論手法は、非線形的かつ非ガウス的な状態空間モデルにおいて、正確な事後分布近似を達成できるか？
• RQ2 ブロック三重対角精度行列を備えた構造的ガウス事後分布は、平均場近似や非構造的近似を上回り、時間的ダイナミクスをより良く捉えられるか？
• RQ3 本手法は、PLDS用に特化したVBEMのような専門的変分推論手法と比較して、収束速度およびELBO性能で優れているか？
• RQ4 真の事後分布が非ガウス的である状況でも、本手法は非線形な状態遷移を回復できるか？
• RQ5 本手法の推論アルゴリズムは、時間的・記憶量的両面で、系列長に対して線形にスケーリングするか？

主な発見

• VILDSは、平均場近似およびVBDualベースラインと比較して、より高い証拠下限界（ELBO）を達成し、収束が速く、より優れた性能を示す。
• VBEMが1回のEM反復を完了する前にも、VILDSはPLDS用に特化したVBEMアプローチと同等のELBO値に到達しており、収束速度の優位性を示している。
• VILDSが学習した事後分布平均軌道は、平均場近似よりも著しく滑らかであることが視覚的に確認され、時間的構造のより良い捉え方を示している。
• 1次元の非線形動的システムにおいて、VILDSは事後分布平均プロットを通じて、連続する状態間の真の非線形関係を効果的に回復している。
• 本手法は、系列長に対して時間的・記憶量的両面で線形にスケーリングされ、長時間系列における効率的推論を可能にする。
• ニューラルネットワークによるパラメータ化を施した構造的事後分布は、非共役モデルでも正確な推論を可能にし、本手法のブラックボックス性を裏付けている。