[論文レビュー] Streaming Variational Monte Carlo

Yuan Zhao, Josue Nassar+3 more|arXiv (Cornell University)|Jun 4, 2019

Gaussian Processes and Bayesian Inference参考文献 57被引用数 5

ひとこと要約

本稿では、逐次的モンテカルロと変分推論を組み合わせることで、ストリーミング時系列における潜在状態と非線形ダイナミクスの柔軟で正確かつスケーラブルな同時推論を可能にする、新しいオンラインベイジアンフィルタリングフレームワーク、Streaming Variational Monte Carlo (SVMC) を提案する。非線形ダイナミクスをスパースガウス過程でモデル化し、誘導変数の事後分布を粒子で表現することで、各時刻における定数時間計算量で漸近的に正確なフィルタリングを達成し、任意の観測モデルをサポートする。

ABSTRACT

Nonlinear state-space models are powerful tools to describe dynamical structures in complex time series. In a streaming setting where data are processed one sample at a time, simultaneous inference of the state and its nonlinear dynamics has posed significant challenges in practice. We develop a novel online learning framework, leveraging variational inference and sequential Monte Carlo, which enables flexible and accurate Bayesian joint filtering. Our method provides an approximation of the filtering posterior which can be made arbitrarily close to the true filtering distribution for a wide class of dynamics models and observation models. Specifically, the proposed framework can efficiently approximate a posterior over the dynamics using sparse Gaussian processes, allowing for an interpretable model of the latent dynamics. Constant time complexity per sample makes our approach amenable to online learning scenarios and suitable for real-time applications.

研究の動機と目的

• ストリーミング時系列における潜在状態と非線形ダイナミクスの同時オンライン推論の課題に対処すること。
• EKF/UKF などの既存手法が強いパrametric仮定に依存し、広範なハイパーパrameterチューニングを要するという限界を克服すること。
• 任意の観測モデルを備えた非線形状態空間モデルにおいて、正確でスケーラブルかつ解釈可能なベイジアン推論を可能にするフレームワークの開発。
• リアルタイムでのオンライン学習応用に適した、各時刻あたり定数時間計算量を達成すること。
• 真の事後分布に収束する理論的裏付けのある近似を提供すること。

提案手法

• スパースガウス過程の誘導変数の事後分布を粒子で表現するストリーミング変分モンテカルロフレームワークを提案し、ダイナミクスパラメータにおける正確なベイジアン推論を可能にする。
• フィルタリング分布の対数正規化定数の下界を surrogate として用い、最適化された適応的提案分布を用いた逐次モンテカルロを活用する。
• 粒子数を増加させることで真のフィルタリング分布にほとんど確実に収束することが示された、フィルタリング事後分布の変分近似を採用する。
• 自己正規化重要度加重を用いて、スパースガウス過程の混合として予測分布を近似し、豊富で非ガウス的な予測不確実性を実現する。
• 変分目的関数の不偏勾配を導出し、確率的勾配法による効率的なオンライン学習を可能にする。
• 標準的な変分近似を避ける新しい粒子ベースの誘導変数の事後分布表現を導入し、閉形式での更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ストリーミングベイジアンフィルタリング手法は、任意の観測尤度を備えた非線形状態空間モデルに対し、漸近的に正確な推論を達成できるか？
• RQ2 各時刻あたり定数時間計算量を維持しつつ、高い精度を保ちながらフィルタリング事後分布を近似できるか？
• RQ3 スパースガウス過程における誘導変数の粒子ベース推論は、標準的な変分近似と比較して、ダイナミクスモデリングの精度を向上させられるか？
• RQ4 不偏勾配を備えた本手法は、収束性とロバスト性の面で、既存のオンラインフィルタリング手法を上回るか？
• RQ5 本フレームワークは、ストリーミング環境下でスパースガウス過程を用いた解釈可能で非パラメトリックな潜在ダイナミクスモデリングをサポートできるか？

主な発見

• 提案された SVMC フレームワークは、粒子数を増加させることで真のフィルタリング事後分布に確実に収束することが保証され、漸近的整合性を有する。
• 本手法は各時刻あたり定数時間計算量を達成しており、リアルタイムおよびオンライン応用に適している。
• 誘導変数の事後分布を粒子で表現することで、標準的な変分近似と比較してより正確なベイジアン推論が可能になる。
• 不偏勾配を用いた surrogate 目的関数の最適化により、確率的勾配降下法による効果的な最適化が可能となり、収束性と性能が向上する。
• 本フレームワークは、非ガウス的・離散的尤度を含む任意の観測モデルをサポートするが、多くの既存手法とは異なり、これに制限されない。
• 予測分布はスパースガウス過程の混合として近似され、平均場近似と比較してより豊かで正確な不確実性推定を実現する。