[论文解读] MCMC algorithms for Bayesian variable selection in the logistic regression model for large-scale genomic applications

Manuela Zucknick, Sylvia Richardson|arXiv (Cornell University)|Feb 12, 2014

Bayesian Methods and Mixture Models参考文献 20被引用 5

一句话总结

本文提出了一种基于邻域的MCMC采样方法，用于高维逻辑斯蒂回归中的贝叶斯变量选择，通过利用预测变量之间的条件依赖结构来改善混合与收敛性。通过将相关变量分组进行联合更新，该方法在不改变模型的前提下显著加速了大规模基因组应用中的MCMC采样，其在模拟数据和真实数据研究中均优于标准吉布斯采样和梅特罗波利斯-黑斯廷斯采样。

ABSTRACT

In large-scale genomic applications vast numbers of molecular features are scanned in order to find a small number of candidates which are linked to a particular disease or phenotype. This is a variable selection problem in the "large p, small n" paradigm where many more variables than samples are available. Additionally, a complex dependence structure is often observed among the markers/genes due to their joint involvement in biological processes and pathways. Bayesian variable selection methods that introduce sparseness through additional priors on the model size are well suited to the problem. However, the model space is very large and standard Markov chain Monte Carlo (MCMC) algorithms such as a Gibbs sampler sweeping over all p variables in each iteration are often computationally infeasible. We propose to employ the dependence structure in the data to decide which variables should always be updated together and which are nearly conditionally independent and hence do not need to be considered together. Here, we focus on binary classification applications. We follow the implementation of the Bayesian probit regression model by Albert and Chib (1993) and the Bayesian logistic regression model by Holmes and Held (2006) which both lead to marginal Gaussian distributions. We in- vestigate several MCMC samplers using the dependence structure in different ways. The mixing and convergence performances of the resulting Markov chains are evaluated and compared to standard samplers in two simulation studies and in an application to a real gene expression data set.

研究动机与目标

• 为解决在p >> n的高维逻辑斯蒂回归中标准MCMC采样器计算不可行的问题。
• 通过利用预测变量之间的条件依赖结构来改善MCMC的混合与收敛性。
• 开发一种可扩展的、基于启发式方法的MCMC框架，避免完整的变量遍历，同时保持后验估计的准确性。
• 在模拟数据和真实基因表达数据中，评估基于邻域的采样器与标准吉布斯采样和添加/删除梅特罗波利斯-黑斯廷斯方法的性能对比。
• 展示通过高效MCMC采样实现大规模基因组数据集上贝叶斯变量选择的可行性。

提出的方法

• 基于成对相关性或偏相关性进行数据驱动的邻域构建，以将变量分组用于联合更新。
• 采用Holmes和Held（2006）的数据增强方法，将逻辑斯蒂回归转化为条件高斯模型，从而支持共轭先验。
• 实现MCMC采样器，同时更新整个变量邻域，减少随机且低效的单变量提议。
• 使用偏相关性阈值定义邻域，捕捉条件独立结构，从而提升混合性。
• 将邻域采样器与并行退火和进化蒙特卡洛相结合，进一步提升混合性与模型空间的探索能力。
• 在并行退火中采用几何温度阶梯，以改善多条马尔可夫链的收敛性与混合性。

实验结果

研究问题

• RQ1 基于邻域的MCMC采样是否能改善高维逻辑斯蒂回归中贝叶斯变量选择的混合与收敛性？
• RQ2 在有效样本量和计算时间方面，邻域采样器相较于标准全吉布斯采样和添加/删除梅特罗波利斯-黑斯廷斯采样器的性能如何？
• RQ3 在高维设置下，使用偏相关性而非原始相关性来定义邻域是否能带来更好的混合性？
• RQ4 启发式邻域构建在不施加模型结构假设的前提下，能在多大程度上提升MCMC效率？
• RQ5 所提出的方法能否在真实基因组数据应用中有效结合并行退火和进化蒙特卡洛等先进MCMC技术？

主要发现

• 基于偏相关性的邻域采样器在两种模拟场景中均优于全吉布斯采样，尤其在邻域平均大小中等至偏大时表现更优。
• 在模拟场景1中，基于相关性的邻域采样器在邻域大小足够大时，其性能与全吉布斯采样相当或更优。
• 尽管未针对计算时间进行优化，基于邻域的MCMC方法在每次迭代中的混合速度明显快于标准全吉布斯采样和添加/删除梅特罗波利斯-黑斯廷斯采样器。
• 该方法成功提升了MCMC效率，且无需事先了解真实模型结构，仅依赖于数据驱动的依赖模式。
• 将邻域采样器与并行退火结合，在p >> n的真实基因表达数据集中显著提升了收敛性与模型空间探索能力。
• 先验方差c²的选择对γ的后验估计影响甚微，表明在默认先验设置下变量选择仍具稳健性。