[论文解读] Model Prior Distribution for Variable Selection in Linear Regression Models

J Lee, Lee, Jeong Eun|arXiv (Cornell University)|Dec 26, 2015

Statistical Methods and Bayesian Inference参考文献 30被引用 3

一句话总结

本文提出了一种新颖的贝叶斯线性回归变量选择中的模型先验分布，基于Kullback–Leibler散度损失来量化模型价值。在非信息性设定下的模拟研究中，该方法优于均匀先验和Scott & Berger先验，尤其在准确估计模型规模和提升后验频率学性能方面表现更优。

ABSTRACT

In this work we discuss a novel model prior probability for variable selection in linear regression. The idea is to determine the prior mass in an objective sense, by considering the worth of each of the possible regression models, given the number of covariates under consideration. Through a simulation study, we show that the proposed prior outperforms the uniform prior and the Scott \& Berger prior in a scenario of no prior knowledge about the size of the true regression models. We illustrate the use of the prior using two well-known data sets with, respectively, 15 and 4 covariates.

研究动机与目标

• 开发一种客观的、数据驱动的线性回归变量选择模型先验分布，以反映每个模型的内在价值。
• 解决在缺乏对真实模型规模先验知识的场景下，均匀先验和Scott & Berger先验的局限性。
• 通过基于损失的合理方法，提升后验模型规模估计的频率学性能。
• 为高维变量选择中的现有模型先验提供一种最小信息量但统计上一致的替代方案。

提出的方法

• 所提出的先验根据竞争模型之间的Kullback–Leibler（KL）散度分配模型概率，以衡量其统计可区分性。
• 通过最小化模型与其替代模型之间的KL散度来量化模型价值，KL散度越低表示模型价值越高。
• 该先验依赖于模型规模（协变量数量），确保其能适应模型空间的复杂性。
• 该方法利用抽样分布下的期望KL散度推导先验，以惩罚预测保真度较差的模型。
• 通过模拟和真实数据分析，将该方法与均匀先验和Scott & Berger先验进行比较，重点关注后验模型规模的表现。
• 该方法通过将观测数据更新至关于真实模型的先验不确定性，整合进贝叶斯框架，从而得到后验分布。

实验结果

研究问题

• RQ1 如何构建一种客观的模型先验，使其反映回归模型的相对价值，而无需依赖主观假设？
• RQ2 与均匀先验和Scott & Berger先验相比，基于损失的模型先验是否能提升模型规模估计的频率学性能？
• RQ3 当缺乏关于真实模型规模的先验信息时，所提出的先验是否能更准确识别真实模型？
• RQ4 在具有已知结构的真实世界数据集（如美国犯罪数据和Hald数据）上，所提出的先验表现如何？
• RQ5 模型复杂度（协变量数量）对所提出先验性能有何影响？

主要发现

• 在模拟研究中，所提出的基于损失的模型先验在后验模型规模估计的频率学准确性方面显著优于均匀先验。
• 与Scott & Berger先验相比，该先验表现更优，尤其在缺乏对真实模型规模先验知识的场景下。
• 在模拟中，所提出的先验下后验模型规模分布比其他先验更集中于真实模型规模。
• 在美国犯罪数据集（15个协变量）上，所提出的先验识别出比基准先验更简洁且更稳定的模型。
• 在Hald数据集（4个协变量）上，所提出的先验生成的后验模型分布更符合已知的回归结构，并提升了预测性能。
• 该方法对模型规模的依赖性使其能自然惩罚过于复杂的模型，同时保持对真实信号的敏感性。