[论文解读] Gibbs flow for approximate transport with applications to Bayesian computation

Jeremy Heng, Randal Douc+1 more|arXiv (Cornell University)|Sep 29, 2015

Markov Chains and Monte Carlo Methods参考文献 28被引用 32

一句话总结

本文提出Gibbs flow，一种新颖的贝叶斯计算方法，通过基于常微分方程的演化样本，利用目标后验分布的完整条件分布导出的速度场，构建近似传输映射。该方法实现了高效的序贯蒙特卡洛采样，在固定计算成本下，显著提升了有效样本量和边缘似然估计的准确性，优于当前最先进的方法。

ABSTRACT

Let $π_{0}$ and $π_{1}$ be two distributions on the Borel space $(\mathbb{R}^{d},\mathcal{B}(\mathbb{R}^{d}))$. Any measurable function $T:\mathbb{R}^{d} ightarrow\mathbb{R}^{d}$ such that $Y=T(X)\simπ_{1}$ if $X\simπ_{0}$ is called a transport map from $π_{0}$ to $π_{1}$. For any $π_{0}$ and $π_{1}$, if one could obtain an analytical expression for a transport map from $π_{0}$ to $π_{1}$, then this could be straightforwardly applied to sample from any distribution. One would map draws from an easy-to-sample distribution $π_{0}$ to the target distribution $π_{1}$ using this transport map. Although it is usually impossible to obtain an explicit transport map for complex target distributions, we show here how to build a tractable approximation of a novel transport map. This is achieved by moving samples from $π_{0}$ using an ordinary differential equation with a velocity field that depends on the full conditional distributions of the target. Even when this ordinary differential equation is time-discretized and the full conditional distributions are numerically approximated, the resulting distribution of mapped samples can be efficiently evaluated and used as a proposal within sequential Monte Carlo samplers. We demonstrate significant gains over state-of-the-art sequential Monte Carlo samplers at a fixed computational complexity on a variety of applications.

研究动机与目标

• 开发复杂贝叶斯后验分布下传输映射的可处理近似，当解析解不可行时。
• 通过借鉴流体动力学的流传输方法构建高质量提议分布，提升序贯蒙特卡洛（SMC）采样器的效率。
• 通过利用条件分布和基于ODE的动力学，解决现有传输映射方法的局限性，如高维优化和非凸性问题。
• 通过时间离散化的ODE和全条件分布的数值近似，使传输映射在高维贝叶斯推断中实现实际应用。

提出的方法

• 提出一种基于ODE的流式传输映射，其速度场由目标后验分布的完整条件分布构建。
• 使用一条连接先验π₀与后验π₁的几何路径，通过光滑函数λ(t)定义时变分布πₜ。
• 采用Gibbs速度场，通过条件期望和累积积分计算，引导ODE中粒子的运动。
• 对ODE应用欧拉离散化，在每个时间步长m和分量i上定义映射Ψₘ,ᵢ，实现样本的迭代变换。
• 将流方法与黎曼流形哈密顿蒙特卡洛（RM-HMC）核结合，于每个时间步长改进提议，提升混合效率和准确性。
• 使用数值积分（R=40个点的复合梯形法则）近似速度场计算中难以处理的积分。

实验结果

研究问题

• RQ1 基于完整条件分布的流式传输映射是否能在高维贝叶斯推断中优于标准SMC提议？
• RQ2 初始分布（先验、VB或EP）的选择如何影响Gibbs flow在有效样本量和边缘似然估计方面的性能？
• RQ3 与独立的SMC或AIS相比，将Gibbs flow与RM-HMC结合在算法效率和准确性方面提升程度如何？
• RQ4 时间离散化和速度场的数值近似对最终传输映射质量的影响程度如何？

主要发现

• GF-AIS（将Gibbs flow与RM-HMC结合）在所有测试维度下，相较于标准AIS，有效样本量和对数边缘似然估计方差均实现数个数量级的提升。
• 当N=512个样本、M=80个时间步长时，GF-AIS即使在标准AIS使用更多RM-HMC迭代以匹配计算成本的情况下，仍表现更优，证明其具有更高的算法效率。
• 使用后验的EP近似作为初始化，性能显著优于使用先验或VB近似，凸显了初始化质量在Gibbs flow中的关键作用。
• 随着空间分辨率的提高（d=10², 15², 20²），该方法保持强劲性能，GF-AIS在有效样本量和边缘似然估计准确性方面均表现出一致的优势。
• 采用时间离散化的ODE与数值近似全条件分布，可高效评估映射后的分布，使该方法在复杂模型中具备可扩展性和实用性。