[论文解读] MCMC-Based Inference in the Era of Big Data: A Fundamental Analysis of the Convergence Complexity of High-Dimensional Chains

Bala Rajaratnam, Doug Sparks|arXiv (Cornell University)|Aug 5, 2015

Markov Chains and Monte Carlo Methods参考文献 38被引用 52

一句话总结

本文为高维MCMC采样器的收敛复杂度提供了严格的理论框架，证明了随着维度增加，标准方法会失效。通过创新的重新参数化和先验设定，该文在高维模型中建立了有界几何遍历性，解决了大 $ p $ 情况下贝叶斯推断中的关键收敛问题。

ABSTRACT

Markov chain Monte Carlo (MCMC) lies at the core of modern Bayesian methodology, much of which would be impossible without it. Thus, the convergence properties of MCMCs have received significant attention, and in particular, proving (geometric) ergodicity is of critical interest. Trust in the ability of MCMCs to sample from modern-day high-dimensional posteriors, however, has been limited by a widespread perception that these chains typically experience serious convergence problems. In this paper, we first demonstrate that contemporary methods for obtaining convergence rates have serious limitations when the dimension grows. We then propose a framework for rigorously establishing the convergence behavior of commonly used high-dimensional MCMCs. In particular, we demonstrate theoretically the precise nature and severity of the convergence problems of popular MCMCs when implemented in high dimensions, including phase transitions in the convergence rates in various $n$ and $p$ regimes, and a universality result across an entire spectrum of models. We also show that convergence problems effectively eliminate the apparent safeguard of geometric ergodicity. We then demonstrate theoretical principles by which MCMCs can be constructed and analyzed to yield bounded geometric convergence rates even as the dimension $p$ grows without bound. Additionally, we propose a diagnostic tool for establishing convergence.

研究动机与目标

• 为解决高维贝叶斯推断中MCMC收敛性缺乏理论理解的问题，特别是当 $ p $ 增大时。
• 识别并表征高维MCMC链收敛性差的根本原因，尤其是由 nuisance 参数引起的后验依赖性。
• 构建一个理论框架，用于分析不同 $ n $ 和 $ p $ 范畴下的收敛速率，包括收敛行为的相变现象。
• 证明通过战略性重新参数化和信息充分的先验，可以在高维模型中保持或恢复几何遍历性。
• 提出一种诊断工具——维度自相关函数（DACF）图，用于在实践中检测收敛复杂度问题。

提出的方法

• 对高维回归模型中的吉布斯采样器进行基于基本原理的分析，包括贝叶斯Lasso、弹性网络和spike-and-slab模型。
• 将罗森塔尔（1995）的几何遍历性框架应用于高维场景，将其扩展至 $ p \to \infty $ 的情形。
• 提出一种重新参数化策略，将冗余参数与主参数解耦，从而降低后验依赖性。
• 对冗余参数采用经验贝叶斯方法和强信息先验，以稳定收敛性，模拟已知参数的情形。
• 开发DACF图作为诊断工具，用于可视化维度和样本量变化下的收敛复杂度。
• 分析不同 $ n $ 和 $ p $ 范畴下的收敛速率，识别出收敛性显著下降的相变点。

实验结果

研究问题

• RQ1 当维度 $ p $ 增大时，即使 $ n $ 固定，标准MCMC收敛性分析方法为何会失效？
• RQ2 在具有层次化或依赖性先验的模型中，高维MCMC采样器收敛速率恶化的根本原因是什么？
• RQ3 在几何遍历性看似崩溃的高维模型中，能否保持或恢复几何遍历性？
• RQ4 重新参数化、信息先验或经验贝叶斯方法在多大程度上可缓解高维MCMC中的收敛复杂度？
• RQ5 像DACF图这样的诊断工具在实践中能否有效区分收敛复杂度与其他收敛性问题？

主要发现

• 标准MCMC收敛性分析方法在高维场景中失效，因其假设 $ n $ 和 $ p $ 固定，导致对收敛行为的错误结论。
• 未知冗余参数引发的后验依赖性——尤其在层次模型中——会严重降低MCMC收敛速率，即使预期存在几何遍历性。
• 标准吉布斯采样器的收敛速率 $ r_{n,p} $ 在高维情形下可能趋近于1，表明混合性能差，特别是在 $ p > n $ 时。
• 通过模型重新参数化并为冗余参数使用信息先验，可使收敛速率远离1，从而有效恢复几何遍历性。
• DACF图被证明是识别收敛复杂度问题的有效诊断工具，尤其在高维设置中表现突出。
• 建立了普适性结果：在一大类模型中，收敛行为在 $ n $ 和 $ p $ 上表现出相似的相变现象，提示存在共同的底层机制。