[论文解读] Individual adaptation: an adaptive MCMC scheme for variable selection problems

Jim E. Griffin, Krzysztof Łatuszyński+1 more|arXiv (Cornell University)|Dec 21, 2014

Bayesian Methods and Mixture Models参考文献 33被引用 9

一句话总结

本文提出 Individual Adaptation，一种用于高维回归中贝叶斯变量选择的自适应 Metropolis-Hastings MCMC 算法。它根据历史样本动态调整每个参数的提议分布，在 $ p $ 较大、$ n $ 较小的设定下提升了混合效率与收敛速度，并在包含 22,577 个变量的基因表达数据集上展示了高效性。

ABSTRACT

The increasing size of data sets has lead to variable selection in regression becoming increasingly important. Bayesian approaches are attractive since they allow uncertainty about the choice of variables to be formally included in the analysis. The application of fully Bayesian variable selection methods to large data sets is computationally challenging. We describe an adaptive Markov chain Monte Carlo approach called Individual Adaptation which adjusts a general proposal to the data. We show that the algorithm is ergodic and discuss its use within parallel tempering and sequential Monte Carlo approaches. We illustrate the use of the method on two data sets including a gene expression analysis with 22 577 variables.

研究动机与目标

• 解决 $ p $ 达数万的高维回归中贝叶斯变量选择的计算挑战。
• 克服因多模态性和高维性导致的标准 MCMC 采样器混合差、收敛慢的问题。
• 开发一种自适应 MCMC 方案，对每个参数独立调整提议分布，以提升采样效率。
• 实现大规模变量选择问题中可扩展且具有代表性的后验抽样。
• 支持在基因表达分析等复杂场景中的应用，这些场景具有庞大的预测变量集合。

提出的方法

• 提出 Individual Adaptation，一种新颖的自适应 MCMC 算法，根据历史样本独立调整每个变量的提议分布。
• 采用随机游走 Metropolis-Hastings 方案，通过历史接受与拒绝状态的累积，对每个参数的提议协方差矩阵进行更新。
• 采用递减适应策略，确保马尔可夫链的几乎必然收敛与遍历性。
• 与并行退火和序贯蒙特卡洛结合，进一步提升多模态后验分布中的混合性能。
• 采用带有 $ g $-先验或独立正态先验的稀疏-滑动（spike-and-slab）先验，用于回归系数，实现完整的贝叶斯模型平均。
• 根据过去值的经验方差，自适应调整每个系数的提议方差，提升接受率与探索能力。

实验结果

研究问题

• RQ1 一种对每个参数独立调整提议的自适应 MCMC 方案，是否能改善高维贝叶斯变量选择中的混合性能？
• RQ2 Individual Adaptation 与标准自适应 MCMC 方法相比，在收敛速度与采样效率方面表现如何？
• RQ3 Individual Adaptation 是否能有效探索 $ p $ 较大、$ n $ 较小的回归问题中的多模态后验分布？
• RQ4 在自适应调参下，该算法是否能保持遍历性与几乎必然收敛？
• RQ5 Individual Adaptation 是否能扩展到真实世界中的高维数据集，如包含 22,577 个变量的基因表达数据？

主要发现

• 与标准自适应 MCMC 方法相比，Individual Adaptation 显著提升了高维变量选择问题中的混合效率与收敛速度。
• 即使在预测变量间存在强相关性的情况下，该算法仍能实现对模型空间的高效探索。
• 在包含 22,577 个变量的基因表达数据集上的实证结果表明，Individual Adaptation 能生成具有代表性的后验样本，而标准方法则失效。
• 在递减适应策略下，该方法保持了遍历性，确保几乎必然收敛至目标分布。
• 与并行退火和序贯蒙特卡洛结合后，其在多模态后验分布上的性能进一步提升。
• 对每个参数独立进行自适应调参，带来了更高的有效样本量与更稳定的后验包含概率估计。