[论文解读] Convergence Rates for Hierarchical Gibbs Samplers

Oliver Jovanovski, Neal Madras|arXiv (Cornell University)|Feb 19, 2014

Bayesian Methods and Mixture Models参考文献 14被引用 3

一句话总结

本文为深度为3或4的贝叶斯层次模型中目标为伽马后验分布的分层吉布斯采样器建立了几何收敛速率。通过耦合技术与随机单调性，作者界定了与均衡状态的总变差距离，表明在实际参数设置下，收敛可在数百万次迭代内实现，且通过辅助过程与矩不等式推导出明确的定量收敛速率。

ABSTRACT

We establish some results for the rate of convergence in total variation of a Gibbs sampler to its equilibrium distribution. This sampler is motivated by a hierarchical Bayesian inference construction for a gamma random variable. Our results apply to a wide range of parameter values in the case that the hierarchical depth is 3 or 4, and are more restrictive for depth greater than 4. Our method involves showing a relationship between the total variation of two ordered copies of our chain and the maximum of the ratios of their respective co-ordinates. We construct auxiliary stochastic processes to show that this ratio does converge to 1 at a geometric rate.

研究动机与目标

• 为伽马后验分布的目标分层吉布斯采样器建立总变差收敛速率的严格上界。
• 分析在四维状态空间中按奇偶坐标顺序更新的吉布斯采样器的收敛行为。
• 将分析扩展至n=3的情形，证明其具有类似的收敛性质且动力学更简化。
• 利用耦合与基于矩的不等式，推导收敛速度的显式定量边界。
• 为具有伽马先验的层次贝叶斯推断中的MCMC采样提供实际的收敛阈值。

提出的方法

• 构建一个按顺序1,3,2,4更新坐标的吉布斯采样器，使用条件伽马分布。
• 利用独立同分布的伽马分布创新项表示马尔可夫链的动力学。
• 引入辅助随机过程以追踪两条耦合链中对应坐标的比值。
• 应用耦合论证表明，坐标的比值以几何速率收敛至1，从而表明几何遍历性。
• 利用矩不等式与停时论证控制期望比值，并推导收敛速率常数。
• 利用随机单调性与部分分式分解，计算关键期望值如E[(γ₂/γ₄ + γ₄/γ₂)(γ₃/(γ₂+γ₄))]。

实验结果

研究问题

• RQ1 针对深度为4的分层吉布斯采样器，其在总变差意义下的收敛速率是多少？
• RQ2 如何利用耦合技术为高维分层模型建立几何收敛性？
• RQ3 形状参数需满足何种条件，才能确保有限矩与几何遍历性？
• RQ4 收敛速率如何依赖于模型参数，特别是形状与尺度参数？
• RQ5 是否可为深度为3的情形推导出类似的收敛边界？其与深度为4的情形相比如何？

主要发现

• 当n=4时，与均衡状态的总变差距离呈几何衰减，满足dTV(Ut+3, π) ≤ 31,065 × (1 − 3/4356)^(t/40) + (1 + 59/20) × (7/9)^(⌊t/2⌋+3)，表明当t ≥ 1,050,000时，dTV ≤ 10⁻⁵。
• 当n=3时，收敛边界为dTV(Ut+2, π) ≤ 600 × (1 − 78/79)^(t/20) + 6 × (7/9)^(⌊t/2⌋+3)，当t ≥ 14,000时，dTV ≤ 10⁻⁵。
• 收敛速率由收缩因子r < 1控制，该因子由伽马比值的矩不等式与停时控制推导得出。
• 该方法依赖于构造一种耦合，使得两条链中坐标的比值几何收敛至1，从而确保快速混合。
• 关键常数如β ≤ 7/9与r ≤ 1 − 3/4356，由参数依赖的矩期望与部分分式分解推导得出。
• 分析证实，在a₁ + a₄ > 1与a₂ + a₃ > 1的条件下，几何遍历性成立，从而保证了关键比值的可积性。