[论文解读] Manifold Markov chain Monte Carlo methods for Bayesian inference in a wide class of diffusion models

Matthew M. Graham, Alexandre H. Thiéry+1 more|arXiv (Cornell University)|Dec 6, 2019

Markov Chains and Monte Carlo Methods参考文献 36被引用 6

一句话总结

本文提出了一种流形马尔可夫链蒙特卡洛方法，用于在离散观测扩散模型中进行贝叶斯推断，通过在隐式定义的潜在噪声与参数流形上利用约束哈密顿蒙特卡洛实现。该方法在各种设置下实现了高效且自动化的推断——包括线性或非线性观测算子、有或无观测噪声、椭圆或超椭圆系统——同时在路径离散化和观测时间上实现线性缩放。

ABSTRACT

Bayesian inference for nonlinear diffusions, observed at discrete times, is a challenging task that has prompted the development of a number of algorithms, mainly within the computational statistics community. We propose a new direction, and accompanying methodology, borrowing ideas from statistical physics and computational chemistry, for inferring the posterior distribution of latent diffusion paths and model parameters, given observations of the process. Joint configurations of the underlying process noise and of parameters, mapping onto diffusion paths consistent with observations, form an implicitly defined manifold. Then, by making use of a constrained Hamiltonian Monte Carlo algorithm on the embedded manifold, we are able to perform computationally efficient inference for an extensive class of discretely observed diffusion models. Critically, in contrast with other approaches proposed in the literature, our methodology is highly automated, requiring minimal user intervention and applying alike in a range of settings, including: elliptic or hypo-elliptic systems; observations with or without noise; linear or non-linear observation operators. Exploiting Markovianity, we propose a variant of the method with complexity that scales linearly in the resolution of path discretisation and the number of observation times.

研究动机与目标

• 解决在非线性、离散观测扩散模型中进行贝叶斯推断的挑战，其中传统方法面临计算和实现上的障碍。
• 开发一种统一的、自动化的推断框架，适用于广泛类别的扩散模型，包括具有复杂观测结构的模型。
• 利用扩散过程的马尔可夫性，实现在路径离散化和观测时间上的线性时间复杂度。
• 在椭圆和超椭圆系统中，以及在有噪声或无噪声观测的设置下，实现稳健的推断。
• 通过最小化调参需求，降低用户依赖性，使该方法在各种建模场景中具有广泛适用性。

提出的方法

• 该方法识别出一组联合配置（即过程噪声与模型参数），其生成的扩散路径与观测数据一致。
• 将推断问题表述为从该隐式定义的流形中进行采样，采用约束哈密顿蒙特卡洛算法。
• 约束HMC通过拉格朗日乘子或投影技术，在嵌入流形上强制执行观测一致性约束。
• 该方法利用扩散过程的马尔可夫性，将联合路径推断分解为一系列局部更新，从而实现线性时间复杂度。
• 该算法对重参数化保持不变，且调参需求极少，增强了自动化与鲁棒性。
• 该方法支持线性和非线性观测算子，并通过同一框架统一处理有噪声或无噪声的观测。

实验结果

研究问题

• RQ1 能否为广泛类别的离散观测扩散模型开发一种统一的、自动化的MCMC方法进行贝叶斯推断？
• RQ2 在高维状态空间中，如何高效地在复杂且隐式定义的潜在噪声与参数流形上执行约束采样？
• RQ3 通过利用扩散过程的马尔可夫性，能在多大程度上降低推断的计算复杂度？
• RQ4 该方法是否能在无需用户干预的情况下，保持在各种设置下的稳健性能，包括超椭圆系统和非线性观测算子？
• RQ5 在实践中，该方法在路径离散化和观测时间增加时的可扩展性如何？

主要发现

• 所提方法在观测时间数量和路径离散化分辨率上均实现线性计算复杂度，从而在高分辨率设置下实现高效推断。
• 该方法完全自动化，用户调参极少，且在包括椭圆和超椭圆系统在内的各类模型中统一适用。
• 通过单一一致的框架，成功处理了有噪声和无噪声观测，无需进行模型特定的调整。
• 在流形上进行的约束哈密顿蒙特卡洛能够准确探索高维和复杂状态空间中潜在路径与参数的后验分布。
• 该方法在非线性观测算子和扩散过程中固有的复杂依赖结构下，仍保持稳健性能。
• 实验结果表明，该方法在极少用户输入下提供可靠的后验推断，其自动化与可扩展性优于现有方法。