[論文レビュー] Manifold Markov chain Monte Carlo methods for Bayesian inference in a wide class of diffusion models

Matthew M. Graham, Alexandre H. Thiéry+1 more|arXiv (Cornell University)|Dec 6, 2019

Markov Chains and Monte Carlo Methods参考文献 36被引用数 6

ひとこと要約

本稿では、観測に整合する経路を生成する潜在ノイズとパラメータの implicitly 定義された多様体上での制約付きハミルトニアン・モンテカルロを活用することで、離散的に観測された拡散モデルにおけるベイズ推論のための多様体マルコフ連鎖モンテカルロ手法を提案する。この手法により、線形または非線形の観測演算子、観測ノイズの有無、楕円型または超楕円型のシステムを問わず、経路離散化と観測時刻の両方に線形にスケーリングする、効率的で自動化された推論が可能になる。

ABSTRACT

Bayesian inference for nonlinear diffusions, observed at discrete times, is a challenging task that has prompted the development of a number of algorithms, mainly within the computational statistics community. We propose a new direction, and accompanying methodology, borrowing ideas from statistical physics and computational chemistry, for inferring the posterior distribution of latent diffusion paths and model parameters, given observations of the process. Joint configurations of the underlying process noise and of parameters, mapping onto diffusion paths consistent with observations, form an implicitly defined manifold. Then, by making use of a constrained Hamiltonian Monte Carlo algorithm on the embedded manifold, we are able to perform computationally efficient inference for an extensive class of discretely observed diffusion models. Critically, in contrast with other approaches proposed in the literature, our methodology is highly automated, requiring minimal user intervention and applying alike in a range of settings, including: elliptic or hypo-elliptic systems; observations with or without noise; linear or non-linear observation operators. Exploiting Markovianity, we propose a variant of the method with complexity that scales linearly in the resolution of path discretisation and the number of observation times.

研究の動機と目的

• 従来の手法が計算的・実装的課題に直面する非線形で離散的に観測された拡散モデルにおけるベイズ推論の課題に対処すること。
• 線形または非線形の観測演算子、ノイズ有無、楕円型または超楕円型のシステムを含む広範なクラスの拡散モデルに適用可能な統一的で自動化された推論フレームワークを構築すること。
• 拡散過程のマルコフ性を活用して、経路離散化と観測時刻の両方に線形時間計算量を達成すること。
• 楕円型および超楕円型のシステム、観測ノイズあり・なしの両方の設定においても、頑健な推論を可能にすること。
• チューニングの必要を最小限に抑えることで、ユーザー依存度を低減し、多様なモデリング状況に広く適用可能にする。

提案手法

• 本手法は、観測データと整合する経路を生成するプロセスノイズとモデルパラメータの組み合わせからなる多様体を同定する。
• 推論問題を、ラグランジュ乗数または射影技術を用いて観測整合性制約を強制することで、この暗黙的に定義された多様体からのサンプリング問題として定式化する。
• 制約付きHMCは、埋め込まれた多様体上で動作し、観測整合性制約をラグランジュ乗数や射影法によって満たす。
• 本手法は拡散過程のマルコフ性を活用して、連鎖的な局所的更新に分解することで、経路推論の線形時間計算量を達成する。
• 再パrameterizationに不変であるように設計されており、最小限のチューニングで自動化と頑健性を向上させる。
• 線形および非線形の観測演算子を一貫したフレームワークで扱い、ノイズあり・なしの両方の観測を同一の枠組みで処理できる。

実験結果

リサーチクエスチョン

• RQ1 広範なクラスの離散的に観測された拡散モデルに適用可能な統一的で自動化されたMCMC手法を開発することは可能か？
• RQ2 高次元状態空間における、複雑で暗黙的に定義された潜在ノイズとパラメータの多様体上での制約付きサンプリングを、どのように効率的に行えるか？
• RQ3 拡散過程のマルコフ構造を活用することで、推論の計算量をどの程度低減できるか？
• RQ4 ユーザーの干渉なしに、超楕円型システムや非線形観測演算子を含む多様な設定においても、本手法が頑健な性能を維持できるか？
• RQ5 実際の応用において、経路離散化の解像度と観測時刻の数が増加するに従い、本手法はどのようにスケーリングするか？

主な発見

• 提案手法は、観測時刻の数と経路離散化の解像度の両方に線形にスケーリングする計算量を達成しており、高解像度設定でも効率的な推論が可能である。
• 本手法は完全に自動化されており、最小限のユーザーチューニングで十分であり、楕円型および超楕円型システムを含む多様なモデルクラスに一貫して適用可能である。
• ノイズあり・なしの両方の観測を、モデル固有の調整なしに同一の統一的フレームワークで処理できることを示した。
• 多様体上での制約付きハミルトニアン・モンテカルロにより、高次元かつ複雑な状態空間においても、潜在経路とパラメータの事後分布の正確な探索が可能である。
• 非線形観測演算子や、拡散過程に内在する複雑な依存構造に対しても、本手法は頑健な性能を維持する。
• 実験結果により、最小限のユーザー入力で信頼性の高い事後分布推論が可能であり、自動化性とスケーラビリティの面で、既存手法を凌駆することが示された。