[论文解读] Binary Bouncy Particle Sampler

Ari Pakman|arXiv (Cornell University)|Nov 2, 2017

Bayesian Methods and Mixture Models参考文献 10被引用 5

一句话总结

本文提出了二值弹跳粒子采样器（Binary Bouncy Particle Sampler, BPS），一种用于从二值分布中采样的拒绝-free、不可逆的MCMC算法，通过使用分段可微势函数对二值分布进行连续变量扩展。该方法将BPS框架扩展至使用高斯或指数扩展的二值马尔可夫随机场，在易于混合的低维设置下，其混合性能优于二值哈密顿蒙特卡洛（HMC）。在低维情况下推荐使用指数扩展，高维情况下则推荐使用高斯扩展。

ABSTRACT

The Bouncy Particle Sampler is a novel rejection-free non-reversible sampler for differentiable probability distributions over continuous variables. We generalize the algorithm to piecewise differentiable distributions and apply it to generic binary distributions using a piecewise differentiable augmentation. We illustrate the new algorithm in a binary Markov Random Field example, and compare it to binary Hamiltonian Monte Carlo. Our results suggest that binary BPS samplers are better for easy to mix distributions.

研究动机与目标

• 将弹跳粒子采样器（BPS）扩展至分段可微和二值分布，实现对离散分布的高效采样。
• 开发一种通用的基于扩展的方法，将二值分布转换为适合BPS的分段可微连续分布。
• 在不同模型复杂度和维度下，比较二值BPS与二值HMC在混合效率和收敛速度方面的性能。
• 识别在不同问题场景（低维与高维）下最优的扩展方案（高斯与指数扩展）。

提出的方法

• 使用分段可微势函数（如 $ p_G({\bf y}|{f s}) $ 或 $ p_E({\bf y}|{f s}) $）对二值分布 $ p({\bf s}) $ 进行连续变量 $ {\bf y} $ 扩展，构建联合分布 $ p({\bf s}, {\bf y}) $。
• 定义联合势能函数 $ U({\bf y}) = \frac{{\bf y} \cdot {\bf y}}{2} - \log p({\bf s}_{\bf y}) + \text{const} $（高斯扩展），或 $ U({\bf y}) = |{\bf y}| - \log p({\bf s}_{\bf y}) + \text{const} $（指数扩展）。
• 通过模拟具有速度重采样和基于 $ [{\bf v} \cdot \nabla U({\bf y})]_+ $ 的泊松点事件反射的分段确定性马尔可夫过程，在扩展的连续空间中应用BPS算法。
• 使用逆CDF方法采样下一次反射事件的时间，确保连续时间下的精确模拟。
• 从扩展分布中采样并关于 $ \bf y $ 边缘化，以恢复 $ \bf s $，从而有效从原始二值分布中采样。
• 使用C++实现该算法，并通过MATLAB接口封装，与二值HMC在相同计算预算下进行性能比较。

实验结果

研究问题

• RQ1 能否通过连续扩展将弹跳粒子采样器扩展至分段可微和二值分布？
• RQ2 在不同模型复杂度下，二值BPS采样器与二值HMC在混合效率方面的表现如何比较？
• RQ3 在不同维度下，高斯扩展与指数扩展中哪种方案能获得更好的混合性能？
• RQ4 在易于混合的分布中，二值BPS采样器是否优于二值HMC？若成立，其适用条件是什么？

主要发现

• 在低维问题（$ d = 10 $）中，采用指数扩展的二值BPS在易于混合的场景（$ \sigma_{\bf M} = 0.2 $）下，对 $ \mathbb{E}[s_i] $ 和 $ \mathbb{E}[s_i, s_j] $ 的均方误差（MSE）表现优于二值HMC和高斯BPS。
• 在高维设置（$ d = 100 $）下，采用高斯扩展的二值BPS在易于混合的情况下达到最低MSE，而在高变异性、困难的场景（$ \sigma_{\bf M} = 2 $）中，二值HMC仍表现更优。
• 在低维、易于混合的场景中，采用指数扩展的二值BPS表现占优，表明扩展方式的选择具有维度依赖性。
• 在易于混合的分布中，二值BPS采样器的混合性能始终优于二值HMC，表明当目标分布表现良好时，不可逆且拒绝-free的动力学具有优势。
• 二值BPS的性能在不同计算预算下均保持稳健，当采用合适的扩展方式时，在简单场景中表现出一致的优越性。