[论文解读] Big Data Analysis Using Shrinkage Strategies

Yuzbasi, B., ‎M‎ohammad Arashi+1 more|arXiv (Cornell University)|Apr 17, 2017

Statistical Methods and Inference参考文献 27被引用 6

一句话总结

本文提出了一种双收缩估计器，通过使用有界可测的权重函数，将欠拟合（子模型）和过拟合（全模型）回归估计进行结合，以提高高维稀疏线性模型的预测精度。该方法在模拟和真实数据研究中显著优于LASSO、自适应LASSO及其他收缩估计器，尤其在存在弱信号时表现更优。

ABSTRACT

In this paper, we apply shrinkage strategies to estimate regression coefficients efficiently for the high-dimensional multiple regression model, where the number of samples is smaller than the number of predictors. We assume in the sparse linear model some of the predictors have very weak influence on the response of interest. We propose to shrink estimators more than usual. Specifically, we use integrated estimation strategies in sub and full models and shrink the integrated estimators by incorporating a bounded measurable function of some weights. The exhibited double shrunken estimators improve the prediction performance of sub models significantly selected from existing Lasso-type variable selection methods. Monte Carlo simulation studies as well as real examples of eye data and Riboavin data confirm the superior performance of the estimators in the high-dimensional regression model.

研究动机与目标

• 提高预测精度，适用于预测变量数量超过样本数量的高维回归模型。
• 解决稀疏线性模型中弱影响预测变量导致的标准变量选择方法产生偏差的问题。
• 开发一种结合欠拟合模型与过拟合模型估计的收缩策略，以降低预测误差。
• 通过引入有界可测函数控制双收缩程度，扩展现有收缩方法。
• 在模拟和真实世界的高维数据集上评估所提估计器的性能。

提出的方法

• 该方法通过使用预测变量的有界可测权重函数，将子模型（欠拟合）和全模型（过拟合）的估计结果相结合，构建双收缩估计器。
• 权重函数被设计为将全模型估计器向子模型估计器收缩，收缩程度由非中心性参数Δ的凹函数控制。
• 提出了具体估计器FS1、FS3和PS，其中FS3采用基于非中心性参数平方的指数函数作为权重函数。
• 通过自助抽样和5折交叉验证计算预测误差（PE）和相对预测误差（RPE）以评估性能。
• 该方法应用于两个真实数据集：眼组织基因表达数据（n=120, p=200）和核黄素生产数据（n=71, p=4088）。
• 还提出了一个额外的估计器FS2，但其表现被超越，尤其在Δ较小时，因其趋向于收敛至过拟合模型。

实验结果

研究问题

• RQ1 通过有界权重函数整合欠拟合与过拟合模型估计，能否提高高维回归中的预测精度？
• RQ2 当存在弱信号时，所提出的双收缩估计器与LASSO和自适应LASSO相比表现如何？
• RQ3 双收缩估计器的性能在不同弱信号影响程度（Δ）下是否保持稳健？
• RQ4 所提出的估计器在小样本、大维度的真实世界高维数据集上的表现如何？
• RQ5 在收缩过程中使用凹权重函数是否具有理论或实证优势？

主要发现

• 在眼组织数据集中，FS3估计器实现了最低的平均相对预测误差（RPE = 1.0626），优于LASSO（1.0598）和其他估计器。
• 在核黄素数据集中，FS3的RPE为1.0273，略优于PS（1.0225）和FS1（1.0222），尽管自适应LASSO的RPE更低（0.9509）。
• 随着弱信号幅度（Δ）的增加，自适应LASSO估计器的RMSE逐渐趋近于零，而FS3的RMSE始终低于其他估计器。
• 模拟结果表明，当Δ = 0时，FS3始终优于FS1和PS，表明其对弱信号存在的鲁棒性。
• 所提出的FS2估计器被FS3和PS超越，尤其在Δ较小时，因其渐近收敛至过拟合模型。
• 双收缩策略显著提升了标准LASSO和自适应LASSO的预测性能，尤其在存在弱信号和中等信号时。