[论文解读] Elastic Net Regularization Paths for All Generalized Linear Models

J. Kenneth Tay, Balasubramanian Narasimhan+1 more|arXiv (Cornell University)|Mar 5, 2021

Statistical Methods and Inference被引用 6

一句话总结

该论文将弹性网络正则化路径算法扩展至所有广义线性模型（GLMs）、带有（start, stop]数据和分层的Cox模型，以及简化的松弛lasso，采用高效的坐标下降法结合强规则和稀疏矩阵支持。主要贡献是一个统一且计算高效的框架，实现了在多种统计模型中的路径估计，显著扩展了弹性网络正则化在以往实现之外的应用范围。

ABSTRACT

The lasso and elastic net are popular regularized regression models for supervised learning. Friedman, Hastie, and Tibshirani (2010) introduced a computationally efficient algorithm for computing the elastic net regularization path for ordinary least squares regression, logistic regression and multinomial logistic regression, while Simon, Friedman, Hastie, and Tibshirani (2011) extended this work to Cox models for right-censored data. We further extend the reach of the elastic net-regularized regression to all generalized linear model families, Cox models with (start, stop] data and strata, and a simplified version of the relaxed lasso. We also discuss convenient utility functions for measuring the performance of these fitted models.

研究动机与目标

• 将弹性网络正则化路径算法推广至广义线性模型（GLMs）中所有指数族分布。
• 将该方法扩展至具有（start, stop]时间区间和分层的生存模型，支持在复杂生存分析场景中进行正则化。
• 实现一种简化的松弛lasso版本，以提升变量选择和预测性能。
• 通过坐标下降法结合强规则和稀疏矩阵支持，实现高效可扩展的计算，适用于大规模高维数据集。
• 提供全面的模型评估工具，包括交叉验证、系数路径可视化及性能评估。

提出的方法

• 使用坐标下降法结合强规则，高效计算弹性网络惩罚GLMs的完整正则化路径，最小化负对数似然函数，并施加混合ℓ₁和ℓ₂惩罚。
• 将相同的算法框架应用于具有（start, stop]时间区间的Cox比例风险模型和分层模型，以部分似然函数作为损失函数。
• 通过重新估计弹性网络解中非零预测变量的系数，实现一种简化的松弛lasso，提升预测准确性。
• 采用热启动策略，将较大λ值下的解作为较小λ值的初始化，加速收敛。
• 在FORTRAN子程序中使用稀疏矩阵表示法，优化大规模稀疏设计矩阵的性能，尤其适用于高维场景。
• 将KKT条件与强规则结合，通过在每个λ值动态更新活跃预测变量集合，确保解的精确性。

实验结果

研究问题

• RQ1 弹性网络正则化路径能否被高效且准确地扩展至广义线性模型中所有指数族分布？
• RQ2 如何将弹性网络框架适配以处理（start, stop]区间删失的生存数据和分层Cox模型？
• RQ3 实现简化的松弛lasso对模型预测准确性和变量选择稳定性有何影响？
• RQ4 强规则与结合热启动的坐标下降法如何提升在多种GLM族中的计算效率？
• RQ5 该扩展框架在高维稀疏数据场景下的性能特征如何？

主要发现

• 所提出的算法成功将弹性网络正则化扩展至所有指数族GLMs，包括伯努利、泊松、伽马和逆高斯族。
• 该方法支持（start, stop]区间删失的生存数据和分层Cox模型，使复杂生存分析场景中的正则化成为可能。
• 通过坐标下降法结合强规则和热启动，实现了显著的计算效率提升，大幅缩短了整个λ路径的计算时间。
• 在FORTRAN子程序中使用稀疏矩阵格式，使得即使设计矩阵规模大且稀疏，也能高效拟合未惩罚的GLMs，克服了基础R中glm函数的局限性。
• 简化的松弛lasso通过重新估计非零系数，降低了标准弹性网络的偏差，从而提升了预测性能。
• 该软件包提供了稳健的模型评估工具，包括交叉验证、系数路径绘图以及内置实用函数支持的性能评估。