[论文解读] Asymptotically Stable Drift and Minorization for Markov Chains with Application to Albert and Chib's Algorithm

Qian Qin, James P. Hobert|arXiv (Cornell University)|Dec 24, 2017

Bayesian Methods and Mixture Models参考文献 30被引用 3

一句话总结

本文针对高维贝叶斯问题中的马尔可夫链蒙特卡洛（MCMC）收敛性分析，提出了改进的漂移条件与极小化条件，聚焦于阿尔伯特与奇布（Albert and Chib）的 probit 模型算法。通过中心化漂移函数并抑制极小化中的高维性，该研究在样本量 $n \to \infty$ 与协变量数量 $p \to \infty$ 的双重极限下，建立了几何遍历性，且收敛速率一致远离 1，从而首次实现了对近似平稳分布的总变差距离的可计算界。

ABSTRACT

The use of MCMC algorithms in high dimensional Bayesian problems has become routine. This has spurred so-called convergence complexity analysis, the goal of which is to ascertain how the convergence rate of a Monte Carlo Markov chain scales with sample size, $n$, and/or number of covariates, $p$. Recent work suggests that, while often useful for establishing convergence rates when $n$ and $p$ are fixed, techniques based on drift and minorization may not be versatile enough to handle the more delicate task of convergence complexity analysis. This article provides some general ideas for sharpening drift and minorization conditions, particularly in cases where~$n$ and/or~$p$ are large. The key ideas include developing an appropriately centered drift function, and suppressing high-dimensionality in the construction of minorization conditions. These concepts are employed in a thorough convergence complexity analysis of Albert and Chib's (1993) data augmentation algorithm for the Bayesian probit model. The main result is that the geometric convergence rate of the underlying Markov chain is bounded below 1 both as $n ightarrow \infty$ (with $p$ fixed), and as $p ightarrow \infty$ (with $n$ fixed). Furthermore, the first computable bounds on the total variation distance to stationarity are byproducts of the asymptotic analysis.

研究动机与目标

• 解决传统漂移与极小化技术在高维 MCMC 算法收敛复杂度分析中的局限性。
• 发展更精细、可扩展的漂移与极小化条件，使其在样本量 $n$ 与协变量数量 $p$ 增加时仍具有效性。
• 将这些改进的条件应用于阿尔伯特与奇布（1993）提出的贝叶斯 probit 回归数据增广算法。
• 为此算法推导出对近似平稳分布的总变差距离的可计算界。
• 在 $n \to \infty$ 与 $p \to \infty$ 两种情形下，建立几何遍历性且收敛速率一致远离 1。

提出的方法

• 引入中心化漂移函数，以提升高维设置下的稳定性与可扩展性。
• 通过抑制对高维分量的依赖，改进极小化条件，增强可处理性。
• 将改进后的漂移与极小化框架应用于阿尔伯特与奇布数据增广算法的特定结构。
• 利用漂移与极小化条件，证明马尔可夫链的几何遍历性。
• 通过渐近分析，推导出对近似平稳分布的总变差距离的显式、可计算界。
• 采用渐近分析验证：当 $n \to \infty$ 与 $p \to \infty$ 时，收敛速率仍保持远离 1。

实验结果

研究问题

• RQ1 漂移与极小化条件能否被进一步优化，以应对高维贝叶斯模型中的收敛复杂度分析？
• RQ2 当样本量 $n$ 与协变量数量 $p$ 同时增大时，阿尔伯特与奇布的 probit 模型数据增广算法是否仍保持几何遍历性？
• RQ3 能否通过渐近漂移与极小化分析，推导出对近似平稳分布的总变差距离的可计算界？
• RQ4 中心化漂移函数在高维设置下如何改善收敛速率分析？
• RQ5 在构建高维 MCMC 算法的有效极小化条件时，维度抑制起到何种作用？

主要发现

• 当 $n \to \infty$ 且 $p$ 固定时，阿尔伯特与奇布算法所基于的马尔可夫链的几何收敛速率一致远离 1。
• 当 $p \to \infty$ 且 $n$ 固定时，几何收敛速率仍保持远离 1，表明在高维情形下具有鲁棒性能。
• 本文首次为该算法提供了对近似平稳分布的总变差距离的可计算界。
• 通过中心化漂移函数并抑制极小化中的维度依赖，改进后的漂移与极小化条件成功处理了高维情形。
• 渐近分析证实，收敛速率在大样本与高维协变量场景下均保持稳定。
• 该方法使得在标准技术失效的复杂贝叶斯模型中，能够对 MCMC 收敛性进行严格且量化的评估。