[论文解读] Delayed Sampling and Automatic Rao-Blackwellization of Probabilistic Programs

Lawrence M. Murray, Daniel Lundén+3 more|arXiv (Cornell University)|Aug 25, 2017

Bayesian Modeling and Causal Inference被引用 26

一句话总结

本文提出延迟采样（delayed sampling），一种在概率编程中动态运用的机制，可自动识别可解析处理的子结构（如共轭先验和仿射关系），并将采样推迟到最后一刻，从而在序列蒙特卡洛（SMC）推理中实现Rao–Blackwell化与局部最优提议。该方法通过解析地边缘化参数来降低蒙特卡洛方差，在合成模型与真实世界模型（包括使用真实数据的登革热疫情模型）中均显著提升了估计效率。

ABSTRACT

We introduce a dynamic mechanism for the solution of analytically-tractable substructure in probabilistic programs, using conjugate priors and affine transformations to reduce variance in Monte Carlo estimators. For inference with Sequential Monte Carlo, this automatically yields improvements such as locally-optimal proposals and Rao-Blackwellization. The mechanism maintains a directed graph alongside the running program that evolves dynamically as operations are triggered upon it. Nodes of the graph represent random variables, edges the analytically-tractable relationships between them. Random variables remain in the graph for as long as possible, to be sampled only when they are used by the program in a way that cannot be resolved analytically. In the meantime, they are conditioned on as many observations as possible. We demonstrate the mechanism with a few pedagogical examples, as well as a linear-nonlinear state-space model with simulated data, and an epidemiological model with real data of a dengue outbreak in Micronesia. In all cases one or more variables are automatically marginalized out to significantly reduce variance in estimates of the marginal likelihood, in the final case facilitating a random-weight or pseudo-marginal-type importance sampler for parameter estimation. We have implemented the approach in Anglican and a new probabilistic programming language called Birch.

研究动机与目标

• 通过动态识别可解析处理的关系，自动实现SMC推理中的方差减少。
• 解决在SMC中当变量间解析关系未被充分利用时导致的蒙特卡洛估计器次优问题。
• 在无需手动重构模型或事先掌握完整模型结构的情况下，实现对共轭先验和仿射变换的推理利用。
• 通过自动边缘化参数实现延迟采样，减少准确边缘似然估计所需的粒子数量。
• 将该机制无缝集成到概率编程语言中，对建模代码的侵入性最小化。

提出的方法

• 在程序执行过程中维护一个动态有向图，其中节点表示随机变量，边表示可解析处理的关系（如共轭性或仿射变换）。
• 通过将变量插入图中并基于所有可用观测值进行解析条件化，推迟在'sample'检查点处的采样。
• 通过图上的前向过滤计算边缘化和条件更新的分布，使用解析更新方式，保持共轭性。
• 仅在变量传递给缺乏解析重载的函数时才执行反向采样，确保采样在最后时刻发生。
• 通过维护和更新指数族分布（如β-二项分布和伽马-泊松分布）的充分统计量，支持Rao–Blackwell化。
• 通过支持局部最优提议分布和在粒子滤波中边缘化参数来减少方差，实现与SMC的集成。

实验结果

研究问题

• RQ1 是否存在一种动态的、运行时的机制，可自动识别并利用概率程序中的可解析处理关系，以降低蒙特卡洛方差？
• RQ2 延迟采样在具有共轭结构的模型中，对序列蒙特卡洛推理效率的提升程度如何？
• RQ3 在达到相同估计精度的前提下，延迟采样与标准SMC相比，对粒子数量的需求有何差异？
• RQ4 延迟采样是否可应用于复杂的真实世界模型（如流行病学状态空间模型），而无需手动模型转换？
• RQ5 在高维或多元共轭设置下，延迟采样的计算权衡如何？

主要发现

• 在线性-非线性状态空间模型中，延迟采样通过边缘化参数实现了Rao–Blackwell化的SMC，显著降低了对数似然估计的方差。
• 在密克罗尼西亚登革热疫情模型中，延迟采样使伪边缘重要性采样器能够高效估计参数，显著减少了获得稳定估计所需的粒子数量。
• 启用延迟采样后，实现相当的边缘似然估计方差水平所需粒子数更少，如图3（右）所示的100次SMC运行分布所示。
• 该机制在无需修改模型代码的情况下实现方差减少，证明了其在推理质量上的自动且透明的改进。
• 对于单变量共轭族，该方法每样本引入恒定的计算开销，该开销在固定计算预算下被认为值得。
• 在多元设置（如多元正态共轭）中，由于涉及矩阵求逆，开销增加，提示在高维情况下可能存在潜在权衡。