[论文解读] BayesVarSel: Bayesian Testing, Variable Selection and model averaging in Linear Models using R

Gonzalo García‐Donato, Anabel Forte|arXiv (Cornell University)|Nov 24, 2016

Statistical Mechanics and Entropy参考文献 3被引用 4

一句话总结

本论文介绍了 BayesVarSel R 包，用于线性模型中的客观贝叶斯假设检验、变量选择和模型平均。该包提供了精确算法和启发式算法，用于计算后验模型概率，并通过基于准则的先验分布支持模型平均估计和预测，提供了一种受 R 的 lm 函数启发的直观界面，便于在应用研究中广泛使用。

ABSTRACT

This paper introduces the R package BayesVarSel which implements objective Bayesian methodology for hypothesis testing and variable selection in linear models. The package computes posterior probabilities of the competing hypotheses/models and provides a suite of tools, specifically proposed in the literature, to properly summarize the results. Additionally, \ourpack\ is armed with functions to compute several types of model averaging estimations and predictions with weights given by the posterior probabilities. BayesVarSel contains exact algorithms to perform fast computations in problems of small to moderate size and heuristic sampling methods to solve large problems. The software is intended to appeal to a broad spectrum of users, so the interface has been carefully designed to be highly intuititive and is inspired by the well-known lm function. The issue of prior inputs is carefully addressed. In the default usage (fully automatic for the user)BayesVarSel implements the criteria-based priors proposed by Bayarri et al (2012), but the advanced user has the possibility of using several other popular priors in the literature. The package is available through the Comprehensive R Archive Network, CRAN. We illustrate the use of BayesVarSel with several data examples.

研究动机与目标

• 开发一个用户友好的 R 包，用于线性模型中的客观贝叶斯推断，解决变量选择和假设检验问题。
• 实现精确和启发式计算方法，以高效计算中小规模问题中的后验概率。
• 通过后验模型权重支持模型平均，实现在模型不确定性下的稳健估计和预测。
• 提供一种受标准 lm 函数启发的直观界面，使贝叶斯方法对应用研究人员更易访问。
• 通过整合基于准则的客观先验分布解决先验选择问题，同时允许高级用户指定替代先验。

提出的方法

• 采用基于准则的先验（如 Bayarri 等，2012）的客观贝叶斯方法，确保自动、非信息性先验设定。
• 在中等规模问题中使用精确算法，实现后验模型概率的快速计算。
• 在精确计算不可行的大规模问题中，应用启发式采样方法（如 MCMC）。
• 通过后验模型概率实现模型平均，允许在估计和预测中考虑模型不确定性。
• 提供 Btest 用于贝叶斯检验，BMAcoeff 用于模型平均系数估计，predictBvs 用于预测模拟的函数。
• 在模型平均中使用多元 t 分布作为预测分布，同时纳入模型和参数估计的不确定性。

实验结果

研究问题

• RQ1 如何高效实现线性模型中变量选择和假设检验的客观贝叶斯方法？
• RQ2 精确和启发式算法在不同规模问题中计算后验模型概率的性能如何？
• RQ3 当存在模型不确定性时，模型平均如何提升估计和预测的准确性？
• RQ4 基于准则的先验在多大程度上能确保无需主观输入的自动、客观推断？
• RQ5 如何设计贝叶斯包的界面，使其对非专家用户直观且易于使用？

主要发现

• 在大鼠体重增长示例中，H0 的后验概率为 0.554，H1 为 0.446，表明高蛋白饮食能否影响平均体重增长的证据不充分。
• 在储蓄数据集中，H1（全模型）的后验概率为 0.954，表明所有预测变量（dpi、ddpi、pop15、pop75）对响应变量 sr 具有显著解释力。
• 在储蓄数据集的多个模型比较中，H1 的后验概率为 0.925，而 H2（排除 pop15）为 0.031，表明 pop15 对模型有显著贡献。
• 在 SDM 数据集中，P60 的包含概率为 0.77，使用模型平均估计其效应超过 1 的概率为 0.7511。
• 使用 predictBvs 进行的预测模拟产生了单峰的预测分布，对平均协变量值的预测直方图显示出明显的集中趋势。
• 该包能够有效处理具有多个假设的复杂模型比较任务，并在高维设置下提供可靠且可解释的汇总结果。