[论文解读] Minibatch Gibbs Sampling on Large Graphical Models

Christopher De, Vincent Chen+1 more|arXiv (Cornell University)|Jun 15, 2018

Bayesian Modeling and Causal Inference被引用 7

一句话总结

本文提出小批量吉布斯采样（minibatch Gibbs sampling）用于大规模图模型，通过在条件更新过程中子采样因子，在保持精确平稳分布的前提下降低计算成本。该方法引入了无偏变体，并提供了可证明的收敛性保证，使得在有界能量条件下，计算复杂度从 O(DΔ) 降低至 O(D + Δ)，实现渐近加速。

ABSTRACT

Gibbs sampling is the de facto Markov chain Monte Carlo method used for inference and learning on large scale graphical models. For complicated factor graphs with lots of factors, the performance of Gibbs sampling can be limited by the computational cost of executing a single update step of the Markov chain. This cost is proportional to the degree of the graph, the number of factors adjacent to each variable. In this paper, we show how this cost can be reduced by using minibatching: subsampling the factors to form an estimate of their sum. We introduce several minibatched variants of Gibbs, show that they can be made unbiased, prove bounds on their convergence rates, and show that under some conditions they can result in asymptotic single-update-run-time speedups over plain Gibbs sampling.

研究动机与目标

• 解决在高阶变量高度连接的大规模图模型中，吉布斯采样所面临的可扩展性瓶颈问题。
• 在不引入偏差的前提下，将每次吉布斯更新的计算复杂度 O(DΔ)（与变量域大小 D 和图度 Δ 成正比）降低。
• 开发保持原始吉布斯链精确平稳分布的小批量技术。
• 提供理论收敛界和参数设置，确保小批量变体的收敛速度几乎与完整吉布斯采样相当。
• 在具有有界能量函数的密集图模型中，实现计算时间的渐近加速。

提出的方法

• 提出 MIN-Gibbs：一种小批量吉布斯采样器，通过子采样变量局部邻域内的因子来估计其条件分布。
• 使用重要性采样和拒绝采样，确保小批量更新相对于真实条件分布保持无偏。
• 提出 MGPMH（Minibatch-Gibbs-Proposal Metropolis-Hastings）：在 Metropolis-Hastings 校正中使用小批量提议，以维持细致平衡。
• 设计 DoubleMIN-Gibbs 作为双重小批量变体，同时对因子和变量域取值进行子采样，以进一步降低计算成本。
• 证明通过调节小批量大小和采样策略，小批量链的谱间隙可被控制得任意接近完整吉布斯链的谱间隙。
• 通过谱间隙分析建立收敛速率的理论界，表明在因子图和能量函数满足弱条件时，收敛性得以保持。

实验结果

研究问题

• RQ1 能否通过小批量技术在不引入偏差的前提下加速大规模图模型上的吉布斯采样？
• RQ2 在何种条件下，小批量吉布斯采样器的收敛速率可与完整吉布斯采样相当？
• RQ3 如何将小批量马尔可夫链的谱间隙相对于原始链进行有界控制？
• RQ4 在有界能量假设下，小批量吉布斯采样的渐近计算复杂度是多少？
• RQ5 通过参数调节，能否保证小批量吉布斯采样的收敛性任意接近完整吉布斯链？

主要发现

• MIN-Gibbs 和 DoubleMIN-Gibbs 分别以高概率实现渐近计算成本 O(DΨ²) 和 O(DL² + Ψ²)，显著低于标准吉布斯采样的 O(DΔ) 成本。
• MGPMH 变体的计算成本为 O(DL² + Δ)，在偏差控制与计算效率之间实现了权衡。
• 在有界能量条件下，小批量吉布斯采样器实现了 O(D + Δ) 的渐近更新成本，相较于 O(DΔ) 有显著改进。
• 通过调节小批量大小和采样策略，小批量链的谱间隙可被控制得任意接近原始吉布斯链的谱间隙。
• 理论分析证实，小批量方法无偏，且收敛至正确的平稳分布，收敛速率可证明。
• 在包含 400 个变量的合成伊辛模型和 Potts 模型，以及使用高斯 RBF 相互作用核的实验中，验证了理论加速效果和收敛行为。