[论文解读] Dimension-free Mixing for High-dimensional Bayesian Variable Selection

Quan Zhou, Jun Yang+3 more|arXiv (Cornell University)|May 12, 2021

Markov Chains and Monte Carlo Methods参考文献 50被引用 4

一句话总结

该论文提出LIT-MH，一种用于高维贝叶斯变量选择的新型有信息Metropolis-Hastings MCMC采样器，通过使用局部有信息的、截断的提议分布，实现与维度无关的混合——即其混合时间与协变量数量$p$无关。在温和的高维假设下，该方法的混合速度优于无信息采样器，同时证明了局部后验评估计算成本的合理性。

ABSTRACT

Yang et al. (2016) proved that the symmetric random walk Metropolis--Hastings algorithm for Bayesian variable selection is rapidly mixing under mild high-dimensional assumptions. We propose a novel MCMC sampler using an informed proposal scheme, which we prove achieves a much faster mixing time that is independent of the number of covariates, under the same assumptions. To the best of our knowledge, this is the first high-dimensional result which rigorously shows that the mixing rate of informed MCMC methods can be fast enough to offset the computational cost of local posterior evaluation. Motivated by the theoretical analysis of our sampler, we further propose a new approach called "two-stage drift condition" to studying convergence rates of Markov chains on general state spaces, which can be useful for obtaining tight complexity bounds in high-dimensional settings. The practical advantages of our algorithm are illustrated by both simulation studies and real data analysis.

研究动机与目标

• 为解决在协变量数量$p$较大时，使用MCMC进行高维贝叶斯变量选择存在的混合缓慢问题。
• 严格证明有信息MCMC方法能够实现足够快的混合速率，以抵消其每轮迭代更高的计算成本。
• 提出一种新的理论框架——'两阶段漂移条件'，用于分析高维设置下马尔可夫链的收敛速率。
• 设计一种实用且高效的MCMC采样器，利用局部后验信息，同时避免出现与维度相关的混合速度下降。
• 提供一种理论基础坚实、与维度无关的替代方案，以替代现有有信息采样器，后者通常存在混合性能差或依赖强假设的问题。

提出的方法

• 提出LIT-MH（局部有信息且截断的Metropolis-Hastings），使用平衡函数$f(b) = \sqrt{b}$，根据后验比$\pi_n(\gamma')/\pi_n(\gamma)$加权提议概率。
• 引入一种截断提议机制，通过截断后验比的极端值来稳定提议分布，提升数值稳定性与混合性能。
• 采用两阶段漂移条件证明与维度无关的混合，这是一种用于一般状态空间上界收敛速率的新理论工具。
• 在邻域$\mathcal{N}_1(\gamma)$内使用加-删-换移动，提议权重基于局部后验密度比导出。
• 应用提议核的“稳定化”版本$\tilde{\mathbf{K}}_{\text{lb}}$，以避免后验比无界导致的数值不稳定性。
• 理论分析表明，在Yang等（2016）的假设下，LIT-MH的混合时间与$p$无关，而标准随机游走MH则不然。

实验结果

研究问题

• RQ1 有信息MCMC采样器在高维变量选择中能否实现与协变量数量$p$无关的混合时间？
• RQ2 在高维设置下，评估局部后验密度的计算成本是否能被足够快的混合速率所抵消？
• RQ3 能否开发一种新的理论框架——“两阶段漂移条件”——以在高维马尔可夫链分析中建立紧致的收敛界？
• RQ4 为何某些有信息提议方案（如LB-MH-1）在实践中表现优于其他设计原则相似的方案？
• RQ5 LIT-MH与现有有信息采样器（如退火Gibbs或ASI）相比，在混合速度和鲁棒性方面表现如何？

主要发现

• LIT-MH实现了与协变量数量$p$无关的混合时间，是首个在一般高维设置下实现此结果的有信息MCMC方法。
• 理论分析引入了新的“两阶段漂移条件”，使高维状态空间中的收敛速率界更加紧密。
• 模拟研究显示，LIT-MH显著优于无信息的随机游走Metropolis-Hastings算法，即使在后验分布多峰的情况下亦然。
• 稳定化提议版本$\tilde{\mathbf{K}}_{\text{lb}}$在数值上更稳定，且在实践中始终优于原始版本$\mathbf{K}_{\text{lb}}$。
• LB-MH-1通过将添加与删除移动的权重分离，避免了在信噪比足够时因高接受概率而陷入低概率模型的问题。
• LIT-MH无需自适应或并行链即可保持强大性能，其设计也便于与退火或分块策略集成。