[論文レビュー] Variational Inference for Continuous-Time Switching Dynamical Systems

Lukas Köhs, Bastian Alt+1 more|arXiv (Cornell University)|Sep 29, 2021

Gaussian Processes and Bayesian Inference被引用数 2

ひとこと要約

本稿では、ガウス過程近似とマーキov跳躍過程における変分推論を組み合わせることで、スイッチング力学系のための新規な連続時間変分推論フレームワークを提案する。経路ごとのカルバック・ライブララー発散を最小化することで、正確な推論が可能となり、計算が困難な正確な事後分布を有する複雑なハイブリッドシステムにおいても、ベイズ的潜在状態推定とパラメータ学習を実現する。

ABSTRACT

Switching dynamical systems provide a powerful, interpretable modeling framework for inference in time-series data in, e.g., the natural sciences or engineering applications. Since many areas, such as biology or discrete-event systems, are naturally described in continuous time, we present a model based on an Markov jump process modulating a subordinated diffusion process. We provide the exact evolution equations for the prior and posterior marginal densities, the direct solutions of which are however computationally intractable. Therefore, we develop a new continuous-time variational inference algorithm, combining a Gaussian process approximation on the diffusion level with posterior inference for Markov jump processes. By minimizing the path-wise Kullback-Leibler divergence we obtain (i) Bayesian latent state estimates for arbitrary points on the real axis and (ii) point estimates of unknown system parameters, utilizing variational expectation maximization. We extensively evaluate our algorithm under the model assumption and for real-world examples.

研究の動機と目的

• 拡散過程とマーキov跳躍過程を組み合わせた連続時間ハイブリッド系のためのスケーラブルな推論フレームワークの不足を解決すること。
• 結合された偏微分方程式に起因する、スイッチングストキャスティック微分方程式（SSDE）における正確な事後分布推論の計算的非可解性を克服すること。
• ハイブリッドモデルにおける任意の時刻における潜在状態のベイズ推定と未知システムパラメータの点推定を可能にすること。
• 既存の拡散過程およびマーキov跳躍過程のための手法を特別なケースとして一般化する統一的な変分推論アプローチを開発すること。
• 多井戸ポテンシャルを有する合成データおよび実世界のイオンチャネルデータを用いた実験を通じて、不規則な観測時刻に対しても頑健であることを示すこと。

提案手法

• システムをハイブリッド過程としてモデル化する：連続時間マーキov跳躍過程（MJP）が、状態依存のドリフトおよび拡散を持つスイッチングストキャスティック微分方程式（SSDE）を制御する。
• 潜在拡散過程をガウス過程近似で表現することで、連続時間軌道上の推論が容易になるようにする。
• 真の事後分布に対する経路ごとのカルバック・ライブララー発散を最小化するように、潜在状態およびMJP経路の変分事後分布を定式化する。
• 未知のシステムパラメータ（ドリフト係数、拡散共分散、遷移レートなど）を同時に学習するために、変分期待値最大化（V-EM）を統合する。
• 推論中に時不変のMJP事後分布からのサンプリングに、スプライシングアルゴリズムを適用する。
• 事前分布および事後分布の周辺分布密度の正確な発展方程式を導出し、変分近似の基盤として用いる。

実験結果

リサーチクエスチョン

• RQ1 正確な事後分布が非可解な連続時間スイッチング力学系に、変分推論を効果的に拡張できるか？
• RQ2 ガウス過程近似は、複数の力学的安定状態を有するハイブリッドシステムにおける複雑な潜在軌道をどれほどよく捉えることができるか？
• RQ3 不規則に間隔をあけた観測に対しても、任意の時刻における潜在状態の正確なベイズ推定を、この手法がどの程度可能にするか？
• RQ4 合成データおよび実世界の設定において、ドリフト、拡散、遷移レートなどの未知パラメータを高精度に同時に学習できるか？
• RQ5 計算効率および推定精度の観点から、本手法の変分フレームワークは、正確な手法やサンプリングベースの手法と比べてどの程度優れているか？

主な発見

• 1次元2モードハイブリッド過程において、事後分布サンプルが真の軌道をよく追跡しており、正確なベイズ的潜在状態推定が達成されていることが確認された。
• 1次元4井戸ポテンシャル系では、学習されたパラメータ（αz, βz, Λ）が真値の10–20％以内に収まっており、観測ノイズΣobs = 0.0225であった。
• 2次元3井戸ポテンシャル系では、学習されたポテンシャルの複雑な構造が正確に回復されており、パラメータ（αz, βz, Λ）の形状および大きさが真値とよく一致していた。
• 実際のイオンチャネルデータ（140 mV、5 kHzサンプリング）では、高いノイズと複雑なダイナミクスにもかかわらず、遷移レート（Λ）およびドリフトパラメータ（αz, βz）が高精度に推定された。
• スプライシングアルゴリズムを用いてMJP経路の変分事後分布が効果的にサンプリングされ、時不変の遷移レートであっても信頼性の高い推論が可能であった。
• すべての実験において、ベースライン初期化より性能が優れており、学習された初期状態分布（µp(z,0), Σp(z,0)）がデータ駆動の構造に効果的に適合していた。