[论文解读] Learning from a lot: Empirical Bayes in high-dimensional prediction settings

Mark A. van de Wiel, Dennis E. te Beest+1 more|arXiv (Cornell University)|Sep 13, 2017

Statistical Methods and Bayesian Inference参考文献 59被引用 3

一句话总结

本文提出了一种基于共数据（co-data）的经验贝叶斯（EB）方法，用于高维预测，共数据指代诸如基因组通路或p值等变量的先验信息，以改进惩罚回归、线性判别分析和贝叶斯模型中的调参估计。结果表明，在高维设置下，EB通过在变量和共数据之间借用信息，其性能优于交叉验证和全贝叶斯方法，理论分析与模拟结果均显示其均方误差更小，后验区间覆盖更优。

ABSTRACT

Empirical Bayes is a versatile approach to `learn from a lot' in two ways: first, from a large number of variables and second, from a potentially large amount of prior information, e.g. stored in public repositories. We review applications of a variety of empirical Bayes methods to several well-known model-based prediction methods including penalized regression, linear discriminant analysis, and Bayesian models with sparse or dense priors. We discuss `formal' empirical Bayes methods which maximize the marginal likelihood, but also more informal approaches based on other data summaries. We contrast empirical Bayes to cross-validation and full Bayes, and discuss hybrid approaches. To study the relation between the quality of an empirical Bayes estimator and $p$, the number of variables, we consider a simple empirical Bayes estimator in a linear model setting. We argue that empirical Bayes is particularly useful when the prior contains multiple parameters which model a priori information on variables, termed `co-data'. In particular, we present two novel examples that allow for co-data. First, a Bayesian spike-and-slab setting that facilitates inclusion of multiple co-data sources and types; second, a hybrid empirical Bayes-full Bayes ridge regression approach for estimation of the posterior predictive interval.

研究动机与目标

• 开发能够从大规模数据和先验信息（共数据）中学习的经验贝叶斯方法，以应对高维预测场景。
• 利用共数据改进惩罚回归、线性判别分析和贝叶斯模型中的调参估计。
• 在高维和中等维设置下，比较经验贝叶斯与交叉验证和全贝叶斯方法的性能。
• 提出新颖的EB方法，将多种共数据源整合进稀疏-密集（spike-and-slab）和岭回归模型中。
• 从理论上和实证上评估EB估计量的均方误差和覆盖性质随p的变化情况。

提出的方法

• 通过最大化边际似然来估计经验贝叶斯中的超参数，将先验参数视为未知量并从数据中估计。
• 将EB方法应用于惩罚回归（如岭回归、套索）、线性判别分析，以及结合共数据的稀疏/密集贝叶斯先验。
• 提出一种贝叶斯稀疏-密集模型，通过局部调整先验方差来整合多种共数据源。
• 提出一种混合经验贝叶斯-全贝叶斯的岭回归方法，用于估计后验预测区间。
• 推导在具有独立同分布正态先验的线性模型中，EB对先验方差τ²估计量的期望均方误差（EMSE）。
• 使用逆威沙特分布对设计矩阵协方差进行建模，以计算估计方差的矩，从而实现EMSE的解析推导。

实验结果

研究问题

• RQ1 在p > n的高维设置下，经验贝叶斯如何提升预测精度？
• RQ2 共数据（如p值或功能注释）在何种方式下可改善高维模型中经验贝叶斯的调参？
• RQ3 在均方误差和区间覆盖方面，经验贝叶斯与交叉验证和全贝叶斯相比表现如何？
• RQ4 经验贝叶斯对先验方差的估计量在p上的理论行为是怎样的，特别是在高维和中等维设置下？
• RQ5 混合经验贝叶斯-全贝叶斯方法能否改进岭回归中的后验预测区间估计？

主要发现

• 在具有独立同分布正态先验的线性模型中，EB对先验方差τ²估计量的期望均方误差（EMSE）被解析推导出来，其依赖于p、n和τ²。
• 在独立设计情况下，EMSE简化为n、p和τ²的函数，且随着p的增加而改善，表明在高维设置下先验估计更优。
• 模拟结果表明，使用三组分高斯混合先验的经验贝叶斯方法，其后验区间覆盖优于单一高斯先验，尤其在异质性设置下表现更优。
• 混合经验贝叶斯-全贝叶斯方法在中等维设置（p ≈ 100–200）下，其95%后验预测区间的覆盖效果优于纯EB或全贝叶斯方法。
• 在稀疏-密集模型中引入共数据可实现先验的局部自适应，从而在高维基因组应用中提升变量选择与预测精度。
• 当存在先验信息时，经验贝叶斯在估计稳定性与均方误差方面始终优于交叉验证。