[论文解读] Ensembles of Regularized Linear Models

Anthony-Alexander Christidis, Laks V. S. Lakshmanan+2 more|arXiv (Cornell University)|Dec 10, 2017

Statistical Methods and Inference参考文献 17被引用 1

一句话总结

本文提出了一种用于正则化线性模型的新型集成方法，通过优化一个联合目标函数来提升预测精度，该目标函数同时促进单个模型内的稀疏性与模型集合之间的多样性。通过在重叠的特征子集上拟合基础估计器（例如Lasso、Elastic Net），并鼓励模型间的多样性，该方法在模拟数据和真实数据中均表现出优于标准正则化回归的预测性能。

ABSTRACT

We propose an approach for building ensembles of regularized linear models by optimizing a novel objective function, that encourages sparsity within each model and diversity among them. Our procedure works on top of a given penalized linear regression estimator (e.g., Lasso, Elastic Net, SCAD) by fitting it to possibly overlapping subsets of features, while at the same time encouraging diversity among the subsets, to reduce the correlation between the predictions that result from each fitted model. The predictions from the models are then aggregated. For the case of an Elastic Net penalty and orthogonal predictors, we give a closed form solution for the regression coefficients in each of the ensembled models. An extensive simulation study and real-data applications show that the proposed method systematically improves the prediction accuracy of the base linear estimators being ensembled. Extensions to GLMs and other models are discussed.

研究动机与目标

• 通过利用模型集成来提升正则化线性模型的预测精度。
• 解决标准正则化估计器因共享特征选择而可能产生高度相关预测的局限性。
• 开发一个框架，同时鼓励单个模型中的稀疏性与模型集合之间的多样性。
• 提供一种可推广的方法，适用于多种惩罚回归方法，包括Lasso、Elastic Net和SCAD。
• 将该方法扩展至广义线性模型（GLMs）及其他指数族模型。

提出的方法

• 该方法优化一个新颖的目标函数，以平衡每个模型内部的稀疏性与模型集合成员之间的多样性。
• 它将基础惩罚回归估计器（例如Elastic Net）应用于重叠的特征子集，子集选择由优化目标引导。
• 对于正交预测变量和Elastic Net，推导出每个集成模型中回归系数的闭式解。
• 通过平均各模型的预测结果来聚合形成最终的集成预测。
• 通过在优化过程中惩罚预测之间的高相关性，来鼓励模型间的多样性。
• 通过适当的基于似然的优化，该框架可扩展至GLMs及其他指数族模型。

实验结果

研究问题

• RQ1 集成正则化线性模型是否能够将预测精度提升至超过单个估计器的水平？
• RQ2 如何在保持每个模型稀疏性的同时，系统性地增强集成中模型间的多样性？
• RQ3 在高维设置下，重叠的特征子集对集成性能有何影响？
• RQ4 所提出的方法是否在性能上优于标准正则化技术（如Lasso或Elastic Net）？
• RQ5 该方法在多大程度上可推广至线性回归以外的模型，例如GLMs？

主要发现

• 与基础正则化估计器相比，所提出的集成方法在多种模拟场景中均一致地提升了预测精度。
• 该方法通过降低集成成员间预测的相关性，实现了比标准Lasso、Elastic Net和SCAD更高的预测精度。
• 对于正交预测变量和Elastic Net，该方法可获得闭式解，从而实现模型系数的高效计算。
• 真实数据的实证结果表明，该集成方法在预测误差方面优于单个正则化模型。
• 该方法对特征重叠表现出鲁棒性，并且在特征数量超过样本量时仍能保持优异性能。
• 对GLMs的扩展被证明是可行且有效的，从而拓宽了该方法在多样化统计建模任务中的适用性。