[论文解读] A flexible empirical Bayes approach to multiple linear regression and connections with penalized regression

Young‐Seok Kim, Wei Wang+2 more|arXiv (Cornell University)|Aug 23, 2022

Bayesian Methods and Mixture Models被引用 7

一句话总结

本文提出了一种快速、灵活的经验贝叶斯方法，用于多重线性回归，采用自适应收缩先验和变分推断，实现与最先进惩罚回归方法相当的预测精度。该方法通过优化直接从数据中学习惩罚函数，消除了对交叉验证的需求，并在计算速度上与套索回归相当，同时适应稀疏和密集信号设置。

ABSTRACT

We introduce a new empirical Bayes approach for large-scale multiple linear regression. Our approach combines two key ideas: (i) the use of flexible "adaptive shrinkage" priors, which approximate the nonparametric family of scale mixture of normal distributions by a finite mixture of normal distributions; and (ii) the use of variational approximations to efficiently estimate prior hyperparameters and compute approximate posteriors. Combining these two ideas results in fast and flexible methods, with computational speed comparable to fast penalized regression methods such as the Lasso, and with competitive prediction accuracy across a wide range of scenarios. Further, we provide new results that establish conceptual connections between our empirical Bayes methods and penalized methods. Specifically, we show that the posterior mean from our method solves a penalized regression problem, with the form of the penalty function being learned from the data by directly solving an optimization problem (rather than being tuned by cross-validation). Our methods are implemented in an R package, mr.ash.alpha, available from https://github.com/stephenslab/mr.ash.alpha.

研究动机与目标

• 开发一种计算高效的经 验贝叶斯方法，用于大规模多重线性回归，平衡预测精度与速度。
• 通过直接从数据中学习惩罚函数，解决现有惩罚回归方法的局限性，如套索回归中的过度收缩和调参敏感性。
• 通过证明后验均值等价于数据自适应的惩罚回归问题，弥合经验贝叶斯与惩罚回归之间的差距。
• 在无需事先了解稀疏结构的情况下，实现在稀疏和密集信号设置下的稳健性能。
• 为基于MCMC的贝叶斯方法提供一种实用、自调参的替代方案，具备更快的收敛速度和更简单的实现方式。

提出的方法

• 该方法采用基于有限高斯混合的灵活先验，以近似尺度混合正态分布族，实现对回归系数的自适应收缩。
• 使用变分推断联合估计先验的超参数并计算近似后验分布，确保计算效率。
• 通过Tweedie公式推导后验均值，该公式将边际似然与后验均值收缩算子联系起来。
• 该方法将后验均值表述为一个惩罚最小二乘问题的解，其中惩罚函数通过优化从数据中学习，而非依赖交叉验证。
• 该方法利用对称单峰先验的数学性质，确保收缩算子在正y上对称、非减且非负。
• 该框架已实现在R包mr.ash.alpha中，可在GitHub上获取，支持高维回归的可扩展应用。

实验结果

研究问题

• RQ1 经验贝叶斯方法是否能在稀疏和密集信号设置下，实现与最佳惩罚回归方法相当的预测精度？
• RQ2 在高维回归背景下，变分推断如何高效估计超参数和后验分布？
• RQ3 经验贝叶斯后验均值与惩罚回归之间有何关联？能否直接从数据中学习惩罚函数？
• RQ4 该方法是否可通过优化学习惩罚结构，从而避免交叉验证的需求？
• RQ5 所提出的方法是否在无需用户指定调参的情况下，保持在各种数据生成机制下的强性能？

主要发现

• 所提出的方法在广泛的稀疏和密集信号设置下，实现了与最佳性能的惩罚回归方法（包括套索、弹性网络和非凸惩罚）相当的预测精度。
• 该方法的计算速度与快速惩罚回归技术（如交叉验证套索）相当，可扩展至大规模数据集。
• 证明了经验贝叶斯方法的后验均值等价于一个惩罚回归问题的解，其中惩罚函数通过优化从数据中学习，无需交叉验证。
• 该方法在稀疏和密集场景下均表现出一致的性能，使其在真实信号结构未知时成为可靠选择。
• 理论分析证实，后验均值收缩算子在正y上对称、非减且非负，确保了稳定且可解释的收缩行为。
• 该方法已实现在开源R包mr.ash.alpha中，促进了可重现性，并推动了在实际应用中的实用化。