[论文解读] Efficient MCMC Sampling with Dimension-Free Convergence Rate using ADMM-type Splitting

Maxime Vono, Daniel Paulin+1 more|arXiv (Cornell University)|May 23, 2019

Markov Chains and Monte Carlo Methods参考文献 86被引用 8

一句话总结

本文提出对分裂吉布斯采样器（SGS）的理论分析，这是一种受ADMM优化启发的MCMC方法，通过利氏曲率和耦合技术证明了其无维度的收敛速率。该研究建立了偏差（在总变差距离和1-沃泊斯特距离下）与混合时间的显式非渐近界，表明在高维设置下，其复杂度与朗之万和哈密顿MCMC方法相比具有竞争力。

ABSTRACT

Performing exact Bayesian inference for complex models is computationally intractable. Markov chain Monte Carlo (MCMC) algorithms can provide reliable approximations of the posterior distribution but are expensive for large datasets and high-dimensional models. A standard approach to mitigate this complexity consists in using subsampling techniques or distributing the data across a cluster. However, these approaches are typically unreliable in high-dimensional scenarios. We focus here on a recent alternative class of MCMC schemes exploiting a splitting strategy akin to the one used by the celebrated alternating direction of multipliers (ADMM) optimization algorithm. These methods appear to provide empirically state-of-the-art performance but their theoretical behavior in high dimension is currently unknown. In this paper, we propose a detailed theoretical study of one of these algorithms known as the split Gibbs sampler. Under regularity conditions, we establish explicit convergence rates for this scheme using Ricci curvature and coupling ideas. We support our theory with numerical illustrations.

研究动机与目标

• 对一种受ADMM启发的新型MCMC方法——分裂吉布斯采样器（SGS）在高维贝叶斯推断设置下进行理论分析。
• 通过总变差距离和1-沃泊斯特距离量化SGS相对于真实后验分布引入的偏差。
• 利用利氏曲率和耦合技术，建立SGS的显式无维度收敛速率。
• 推导出与维度、条件数和精度显式依赖的混合时间界。
• 通过实际应用中的数值实验验证理论结果。

提出的方法

• 该方法采用类似于ADMM的分裂策略，通过引入目标参数的人工复制，以实现分布式MCMC采样。
• 将SGS表述为包含主参数和复制节点参数的联合后验上的吉布斯采样器。
• 通过利氏曲率界和耦合论证进行收敛性分析，以推导出无维度的谱间隙估计。
• 在正则性条件下，推导出SGS目标分布与真实后验之间在总变差距离和1-沃泊斯特距离下的显式非渐近界。
• 利用谱间隙和初始分布的依赖关系对混合时间进行有界，显式依赖于维度和精度。
• 数值实验验证了在高斯模型中偏差和收敛性的理论界。

实验结果

研究问题

• RQ1 分裂吉布斯采样器相对于真实后验分布的偏差在总变差距离和1-沃泊斯特距离下如何？
• RQ2 分裂吉布斯采样器是否能在高维模型中实现无维度的收敛速率？
• RQ3 SGS的收敛速率和混合时间如何随维度、条件数和目标精度变化？
• RQ4 混合时间对初始分布和SGS链谱间隙的显式依赖关系是什么？
• RQ5 理论界与最先进的MCMC方法（如朗之万或哈密顿动力学）相比在实践中表现如何？

主要发现

• SGS目标分布与真实后验之间的偏差在总变差距离和1-沃泊斯特距离下有界，显式依赖于分裂参数ρ和模型参数。
• 推导出TV偏差 ≤ ε/2 的充分条件，要求ρ²被一个包含∑d_i M_i 和 σ_U⁴ 的函数有界，且显式依赖于维度d。
• SGS链的谱间隙有下界K_SGS，其与维度无关，从而实现无维度收敛速率。
• 混合时间t_mix(ε;ν)被有界为O(log(2/ε)/K_SGS)，显式依赖于初始分布和K_SGS，显示出有利的缩放特性。
• 偏差和混合时间的理论界在高维设置下与朗之万和哈密顿MCMC方案的界具有可比性。
• 在简单高斯示例中的数值结果证实了理论界的紧致性，并展示了SGS相对于基线MCMC方法的优越性。