[論文レビュー] Fast approximate Bayesian inference for stable differential equation models

Philip Maybank, Ingo Bojak+1 more|arXiv (Cornell University)|Jun 2, 2017

Gaussian Processes and Bayesian Inference参考文献 12被引用数 8

ひとこと要約

本稿では、安定した固定点の周辺での線形化とWhittle尤度を活用することで、計算コストを著しく削減する高速な近似ベイジアン推論手法を、安定した微分方程式モデルに対して提案する。この手法により、10,000点を超える長期間時系列データや中程度次元のシステム（10–50の状態変数およびパrameter）に対しても、勾配ベースのサンプリングと再パrameter化を用いることで正確な事後分布探索を実現しつつ、最先端の手法と比較して数個のオーダーの高速化を達成できる。

ABSTRACT

Inference for mechanistic models is challenging because of nonlinear interactions between model parameters and a lack of identifiability. Here we focus on a specific class of mechanistic models, which we term stable differential equations. The dynamics in these models are approximately linear around a stable fixed point of the system. We exploit this property to develop fast approximate methods for posterior inference. We illustrate our approach using simulated data on a mechanistic neuroscience model with EEG data. More generally, stable differential equation models and the corresponding inference methods are useful for analysis of stationary time-series data. Compared to the existing state-of-the art, our methods are several orders of magnitude faster, and are particularly suited to analysis of long time-series (>10,000 time-points) and models of moderate dimension (10-50 state variables and 10-50 parameters.)

研究の動機と目的

• 高次元の状態空間と長期間の時系列データを伴う非線形微分方程式モデルにおける正確なベイジアン推論の計算的非実行可能性に対処する。
• 大規模なn（時系列点数）、d（状態次元）、p（パrameter数）に対してスケーリングが著しく悪い既存の擬似尤度MCMCおよびハミルトニアンモンテカルロ手法の限界を克服する。
• 動的挙動が安定固定点の周囲で近似的に線形であるモデル（システム生物学や計算神経科学で一般的な状況）に対して、スケーラブルな推論フレームワークを開発する。
• 平衡状態値を用いた再パラメータ化とWhittle尤度の解析的導出を活用することで、事後分布の探索とマージナル尤度推定を改善する。
• 正確な手法が数か月かかって収束するような状況でも、解析的近似により計算複雑性を低減することで、正確な推論を可能にする。

提案手法

• 安定固定点の周囲でのシステムダイナミクスの線形化により、スペクトル密度の解析的計算を可能にし、高価な数値積分を回避する。
• Whittle尤度を用いてパラメータのマージナル尤度を近似することで、1回の評価あたりの計算コストをO(n)からO(log n)に削減する。
• 平衡状態値をパラメータとして用いた再パラメータ化により、事後分布の幾何構造を単純化し、MCMCの混合速度を向上させる。
• Whittle尤度の解析的勾配を導出し、ハミルトニアンモンテカルロなどの効率的な勾配ベースMCMCアルゴリズムの実行を可能にする。
• 線形化およびWhittle近似の精度を評価するヒューリスティクスを適用し、推論の信頼性を確保する。
• これらの技術を統合し、長期間時系列（n > 10,000）および中程度次元のモデル（d ≈ 10–50, p ≈ 10–50）に適したスケーラブルな推論パイプラインを構築する。

実験結果

リサーチクエスチョン

• RQ1 粒子MCMCや完全な数値積分に依存せずに、安定微分方程式モデルに対して高速かつ正確なベイジアン推論を達成できるか？
• RQ2 長期間時系列データを伴う非線形システムにおいて、安定固定点の周囲での線形化が、事後分布推論の精度にどのように影響するか？
• RQ3 複雑な非線形ダイナミクスを有する状態空間モデルにおいて、Whittle尤度が完全尤度評価をどの程度代替可能か？
• RQ4 平衡状態値をパラメータとして用いた再パラメータ化が、高次元パラメータ空間におけるMCMC収束性および混合速度を著しく改善できるか？
• RQ5 この文脈において、Whittle尤度の解析的勾配をハミルトニアンモンテカルロに適用した際の計算的利得はどの程度か？

主な発見

• 提案手法は、最先端の粒子MCMCおよびハミルトニアンモンテカルロ手法と比較して、計算コストを数個のオーダー削減する。
• 長期間時系列（n > 10,000）に対しては、標準的な実装がデスクトップコンピュータで数か月を要する状況でも、本手法により実行可能な推論が可能になる。
• 解析的スペクトル密度計算を併用したWhittle尤度の使用により、数値積分を一切用いずに正確なマージナル尤度近似が可能になる。
• 平衡状態値を用いた再パラメータ化により、計算負荷がさらに1オーダー程度低減され、MCMCの混合効率が向上する。
• Whittle尤度の解析的導出により、効率的な勾配ベースのサンプリングが可能になり、収束がさらに加速される。
• パラメータの識別が困難な場合でも、事後分布の依存構造を正確に捉える点で、点推定やラプラス近似を上回る性能を示す。