[论文解读] Automatic Backward Filtering Forward Guiding for Markov processes and graphical models

Frank van der Meulen, Moritz Schauer|arXiv (Cornell University)|Oct 7, 2020

Gaussian Processes and Bayesian Inference参考文献 24被引用 5

一句话总结

本文提出自动反向滤波正向引导（BFFG）框架，用于在具有潜藏马尔可夫过程的概率图模型中实现高效的贝叶斯推断。通过将生成（前向）模型经由反向滤波与测度变换转化为数据引导的近似模型，BFFG 实现了对平滑分布的可微、结构保持采样——对线性模型为精确解，且适用于非线性、连续时间过程（如随机微分方程、分支扩散过程和伽马过程）。

ABSTRACT

We incorporate discrete and continuous time Markov processes as building blocks into probabilistic graphical models with latent and observed variables. We introduce the automatic Backward Filtering Forward Guiding (BFFG) paradigm (Mider et al., 2021) for programmable inference on latent states and model parameters. Our starting point is a generative model, a forward description of the probabilistic process dynamics. We backpropagate the information provided by observations through the model to transform the generative (forward) model into a pre-conditional model guided by the data. It approximates the actual conditional model with known likelihood-ratio between the two. The backward filter and the forward change of measure are suitable to be incorporated into a probabilistic programming context because they can be formulated as a set of transformation rules. The guided generative model can be incorporated in different approaches to efficiently sample latent states and parameters conditional on observations. We show applicability in a variety of settings, including Markov chains with discrete state space, interacting particle systems, state space models, branching diffusions and Gamma processes.

研究动机与目标

• 实现具有潜藏马尔可夫过程与观测数据的 probabilistic graphical models 中的高效、自动化推断。
• 解决平滑问题——即在不修改 DAG 结构的前提下，从观测数据中对潜藏状态进行采样。
• 提供一种可编程、结构保持的框架，兼容概率编程与现代推断方法。
• 将现有的反向滤波与 Doob 的 h-变换方法扩展至连续时间与非线性过程。
• 通过重参数化支持可微推断，使其可应用于哈密顿蒙特卡洛、粒子方法与变分推断。

提出的方法

• 反向滤波将信息从观测叶节点传播至 DAG 根节点，以计算似然比。
• 通过测度变换，利用反向滤波的输出将原始生成模型转化为预条件（引导）模型。
• 引导模型近似了在观测条件下潜藏状态与参数的真正后验分布。
• 该框架支持离散与连续时间马尔可夫过程，包括随机微分方程、伽马过程与分支扩散过程。
• 该方法支持通过重参数化实现梯度推断，例如哈密顿蒙特卡洛与基于得分的优化。
• 通过提供似然比的无偏估计器，支持伪边缘 Metropolis-Hastings 方法，即使权重不可计算亦可适用。

实验结果

研究问题

• RQ1 如何在具有潜藏马尔可夫过程与观测数据的 probabilistic graphical model 中高效采样潜藏状态？
• RQ2 能否构建一种保持原始 DAG 结构的数据引导生成模型，以支持可微推断？
• RQ3 如何系统性地将反向滤波与测度变换应用于连续时间与非线性马尔可夫过程？
• RQ4 所提出的 BFFG 框架与 Doob 的 h-变换或现有滤波算法之间存在何种关系？
• RQ5 该框架能否在不修改结构的前提下，无缝集成至现代推断引擎（如哈密顿蒙特卡洛或粒子 MCMC）中？

主要发现

• BFFG 框架对线性状态空间模型提供了精确的平滑分布，可恢复经典反向滤波正向采样算法。
• 对于非线性与不可逆过程，BFFG 提供了对真实后验的结构保持近似，且已知其与原始模型的似然比。
• 该方法通过重参数化支持可微推断，使得可通过变换 $ G(Z) $ 进行梯度估计，从而支持哈密顿蒙特卡洛。
• 该框架通过提供似然比的无偏估计器，支持伪边缘 Metropolis-Hastings 方法，即使权重不可计算亦可适用。
• 该方法适用于广泛的过程，包括连续时间马尔可夫链、泊松过程、伽马过程与随机微分方程。
• 该实现与概率编程兼容，因其变换规则具有模块化与可组合性，可无缝集成至现有推断流水线中。