[论文解读] Measuring the non-asymptotic convergence of sequential Monte Carlo samplers using probabilistic programming

Marco Cusumano-Towner, Vikash K. Mansinghka|arXiv (Cornell University)|Dec 7, 2016

Bayesian Methods and Mixture Models参考文献 8被引用 3

一句话总结

本文提出了一种基于概率编程的元推断方法，用于估计序列蒙特卡洛（SMC）采样器输出与目标后验分布之间对称KL散度的上界。通过构建一个生成SMC算法执行历史的元采样器，该方法能够利用无偏蒙特卡洛估计实现非渐近收敛分析，其紧致性由元推断分布的准确性决定。

ABSTRACT

A key limitation of sampling algorithms for approximate inference is that it is difficult to quantify their approximation error. Widely used sampling schemes, such as sequential importance sampling with resampling and Metropolis-Hastings, produce output samples drawn from a distribution that may be far from the target posterior distribution. This paper shows how to upper-bound the symmetric KL divergence between the output distribution of a broad class of sequential Monte Carlo (SMC) samplers and their target posterior distributions, subject to assumptions about the accuracy of a separate gold-standard sampler. The proposed method applies to samplers that combine multiple particles, multinomial resampling, and rejuvenation kernels. The experiments show the technique being used to estimate bounds on the divergence of SMC samplers for posterior inference in a Bayesian linear regression model and a Dirichlet process mixture model.

研究动机与目标

• 为解决序列蒙特卡洛（SMC）采样器中近似误差的量化问题，这些采样器的输出往往远离真实后验分布。
• 将现有对称KL散度上界估计方法扩展至包含多粒子和MCMC重生成核的广泛类别的SMC采样器。
• 利用概率编程框架实现SMC采样器的实际、非渐近收敛评估。
• 通过使用准确逼近给定输出下辅助变量条件分布的元推断采样器，提高散度上界估计的紧致性。

提出的方法

• 构建一个元推断采样器 $ q(u;z) $，在给定SMC采样器输出 $ z $ 的前提下生成其执行历史 $ u $（辅助变量），从而实现从 $ p(u,z) $ 和 $ q(u;z) $ 的联合采样。
• 通过方程（2）中的估计器，在扩展空间上使用无偏蒙特卡洛估计对称KL散度，该估计器比较未归一化后验与联合采样器密度的对数似然比。
• 将现有针对AIS和SIR的元推断构造方法推广至处理具有多项式重采样、多粒子和MCMC重生成核的通用SMC采样器。
• 通过将详细平衡核的循环合并为单步操作，同时保持对数权重表达式不变，使SMC算法中可使用详细平衡核的循环而无需修改权重计算。
• 利用概率编程自动推导联合概率 $ p(u,z) $ 和提议分布 $ q(u;z) $，从而实现对散度上界估计的端到端支持。
• 将该方法应用于真实世界模型，包括贝叶斯线性回归和狄利克雷过程混合模型，以实证验证上界的有效性。

实验结果

研究问题

• RQ1 我们能否仅通过访问采样器和一个黄金标准后验采样器，估计通用SMC采样器输出与目标后验之间对称KL散度的上界？
• RQ2 元推断分布 $ q(u;z) $ 的准确性如何影响散度上界的紧致性？
• RQ3 所提出的方法能否适用于使用MCMC重生成核和多粒子的SMC采样器，而不仅限于单粒子或退火基方案？
• RQ4 当SMC算法中包含不单独满足详细平衡的详细平衡核循环时，该方法是否仍然有效？
• RQ5 该方法如何集成到概率编程平台中，以实现自动收敛诊断？

主要发现

• 该方法仅通过访问采样器和黄金标准后验采样器，即能提供SMC采样器输出与真实后验之间对称KL散度的非渐近上界。
• 该上界通过一个无偏蒙特卡洛估计器进行估计，该估计器需要从后验 $ \pi(z) $、SMC采样器 $ p(u,z) $ 以及元推断分布 $ q(u;z) $ 中进行采样。
• 上界的紧致性直接由 $ q(u;z) $ 对真实条件分布 $ p(u|z) $ 的逼近程度决定，逼近越准确，上界越紧。
• 该方法将先前针对AIS和SIR的工作推广至包含多粒子和MCMC重生成的完整SMC采样器，显著提升了其在真实世界模型中的适用性。
• 当SMC核包含详细平衡核的循环时，只要在元推断中使用反向循环，该方法依然有效，且能保持权重表达式的正确性。
• 在贝叶斯线性回归和狄利克雷过程混合模型上的实证评估证实了该方法在实际推理场景中的可行性与实用性。