[论文解读] Complexity Results for MCMC derived from Quantitative Bounds

Jun Yang, Jeffrey S. Rosenthal|arXiv (Cornell University)|Aug 2, 2017

Markov Chains and Monte Carlo Methods参考文献 55被引用 21

一句话总结

本文提出了一种改进的漂移-极小化方法，引入了'大集合'和'拟合漂移函数族'，以推导高维MCMC算法的紧致定量收敛界。结果表明，在特定条件下，对于某些吉布斯采样器——尤其是与詹姆斯-斯坦估计器相关的采样器——混合时间保持恒定，与维度无关，显著优于传统方法在维度增加时性能下降的界限。

ABSTRACT

This paper considers how to obtain MCMC quantitative convergence bounds which can be translated into tight complexity bounds in high-dimensional {settings}. We propose a modified drift-and-minorization approach, which establishes generalized drift conditions defined in subsets of the state space. The subsets are called the "large sets", and are chosen to rule out some "bad" states which have poor drift property when the dimension of the state space gets large. Using the "large sets" together with a "fitted family of drift functions", a quantitative bound can be obtained which can be translated into a tight complexity bound. As a demonstration, we analyze several Gibbs samplers and obtain complexity upper bounds for the mixing time. In particular, for one example of Gibbs sampler which is related to the James--Stein estimator, we show that the number of iterations required for the Gibbs sampler to converge is constant under certain conditions on the observed data and the initial state. It is our hope that this modified drift-and-minorization approach can be employed in many other specific examples to obtain complexity bounds for high-dimensional Markov chains.

研究动机与目标

• 解决高维MCMC中统计收敛界与计算机科学风格复杂度结果之间的差距。
• 克服现有漂移-极小化方法的局限性，这些方法通常在维度增加时导致界恶化。
• 开发一种可产生紧致、与维度无关的复杂度界的高维马尔可夫链方法。
• 在具有复杂层次结构的实际吉布斯采样器上展示该方法的有效性。
• 建立MCMC混合时间在维度增加时仍能保持恒定的条件。

提出的方法

• 引入'大集合'——精心挑选的状态空间子集，排除高维中具有不良漂移特性的'坏'状态。
• 提出一种基于这些大集合而非整个状态空间的广义漂移条件。
• 采用'拟合漂移函数族'以自适应地建模状态空间不同区域的漂移行为。
• 将改进的漂移条件与极小化条件结合，建立定量的总变差收敛界。
• 将所得界转化为高维设置下混合时间的紧致复杂度界。
• 将该框架应用于特定吉布斯采样器，包括与詹姆斯-斯坦估计器相关的采样器，以推导显式收敛结果。

实验结果

研究问题

• RQ1 标准漂移-极小化方法能否被修改，以在高维MCMC设置中产生紧致复杂度界？
• RQ2 为何现有漂移-极小化界通常在维度增加时恶化，以及如何避免这一问题？
• RQ3 在何种条件下，吉布斯采样器的混合时间可保持恒定，即使维度增加？
• RQ4 所提出的方法能否系统性地应用于本文示例之外的其他高维MCMC算法？
• RQ5 与全局漂移条件相比，'大集合'和拟合漂移函数的使用如何提升收敛速率估计的准确性？

主要发现

• 对于与詹姆斯-斯坦估计器相关的吉布斯采样器，在数据和初始状态满足特定条件时，混合时间被一个与维度无关的常数所界定。
• 通过大集合排除行为不良的状态，改进的漂移-极小化方法成功避免了高维中界退化的问题。
• 拟合漂移函数族能够实现更精确和局部化的漂移估计，从而得到更紧致的收敛界。
• 该方法表明，当谨慎应用时，漂移-极小化框架可被调整以产生非渐近的、与维度无关的复杂度界。
• 该方法具有可扩展性，可应用于其他MCMC算法，以在高维设置下获得改进的复杂度结果。
• 理论分析证实，詹姆斯-斯坦模型中对精度分量进行拒绝采样时的接受概率随样本大小呈指数下降，凸显了高效MCMC替代方法的必要性。