[论文解读] Coupled Markov chain Monte Carlo for high-dimensional regression with Half-t priors

Niloy Biswas, Anirban Bhattacharya+2 more|arXiv (Cornell University)|Dec 9, 2020

Bayesian Methods and Mixture Models参考文献 1被引用 4

一句话总结

本文提出了一种用于高维贝叶斯回归的耦合马尔可夫链蒙特卡洛（MCMC）算法，采用半t先验分布，提升了计算可扩展性与收敛性诊断能力。该方法在包含100,000个协变量的全基因组关联研究中表现出高效性能，表明自由度大于1的半t先验分布可同时提升统计稳健性与计算效率。

ABSTRACT

Continuous shrinkage priors are commonly used in Bayesian analysis of high-dimensional data, due to both their computational advantages and favorable statistical properties. We develop coupled Markov chain Monte Carlo (MCMC) algorithms for Bayesian shrinkage regression in high dimensions. Following Glynn & Rhee (2014), these couplings can be used in parallel computation strategies and practical diagnostics of convergence. Focusing on a class of shrinkage priors which includes the Horseshoe, we demonstrate the scalability of the proposed couplings with data from a genome-wide association study with 2000 rows and 100,000 covariates. The results highlight the impact of the shrinkage prior on the computational efficiency of the coupling procedure, and motivate priors where the local precisions are Half-t distributed with degree of freedom larger than one, which are statistically justifiable in terms of posterior concentration, and lead to practical computations.

研究动机与目标

• 开发适用于高维回归的可扩展MCMC算法，采用连续收缩先验分布。
• 通过受Glynn & Rhee（2014）启发的耦合方法，改进收敛性诊断与并行计算效率。
• 评估先验选择（特别是半t先验分布）对高维设定下计算性能的影响。
• 识别在大规模回归中兼具统计最优性与计算可行性的先验分布。

提出的方法

• 将耦合MCMC技术应用于贝叶斯收缩回归，支持并行执行与收敛性监控。
• 采用一类包含正态夫兰克（Horseshoe）先验的收缩先验，其中局部精度参数从半t分布中抽取。
• 使用自由度大于1的半t先验分布，以确保后验集中性与计算稳定性。
• 设计耦合机制以保持细致平衡性，并支持有效的收敛性诊断。
• 在包含2000个样本与100,000个协变量的高维全基因组关联研究（GWAS）中实现该算法。
• 利用耦合结构估计蒙特卡洛误差，并评估高维参数空间中的混合效率。

实验结果

研究问题

• RQ1 如何有效将耦合MCMC应用于具有连续收缩先验的高维回归？
• RQ2 半t先验分布的自由度对计算效率与收敛性有何影响？
• RQ3 耦合MCMC能否在高维贝叶斯模型中实现可靠的收敛性诊断？
• RQ4 与其它收缩先验相比，自由度大于1的半t先验在后验集中性与计算性能方面表现如何？
• RQ5 该方法在真实世界高维数据（如GWAS数据集）上的可扩展性如何？

主要发现

• 所提出的耦合MCMC算法在包含100,000个协变量与2,000个样本的高维GWAS数据集中实现了可扩展的性能表现。
• 自由度大于1的半t先验分布相比其他收缩先验，展现出更优的计算效率。
• 耦合机制在高维设定下实现了有效的收敛性诊断与并行计算。
• 通过耦合链实现的实际收敛性监控，减少了对启发式方法的依赖。
• 半t先验分布的后验集中性特性具有统计合理性，支持其在高维回归中的应用。
• 结果证实，先验选择显著影响高维贝叶斯推断中的计算可扩展性与统计可靠性。