[论文解读] Generalized Linear Model for Gamma Distributed Variables via Elastic Net Regularization

Xin Chen, Aleksandr Y. Aravkin+1 more|arXiv (Cornell University)|Apr 20, 2018

Statistical Methods and Inference参考文献 11被引用 10

一句话总结

本文提出 glmGammaNet，一个高效、可并行化的 R 包，用于使用弹性网络正则化拟合响应为伽马分布的广义线性模型。通过开发一种结合局部二次近似的加速近端梯度算法，该方法克服了伽马 GLM 缺乏全局二次上界的问题，相较于标准 GLM 方法，在变量选择和预测误差方面表现更优。

ABSTRACT

The Generalized Linear Model (GLM) for the Gamma distribution (glmGamma) is widely used in modeling continuous, non-negative and positive-skewed data, such as insurance claims and survival data. However, model selection for GLM depends on AIC/BIC criteria, which is computationally impractical for even a moderate number of variables. In this paper, we develop variable selection for glmGamma using elastic net regularization (glmGammaNet), for which we provide an algorithm and implementation. The glmGammaNet model is more challening than other more common GLMs as the likelihood function has no global quadratic upper bound, and we develop an efficient accelerated proximal gradient algorithm using a local model. We report simulation study results and discuss the choice of regularization parameter. The method is implemented in the R package glmGammaNet.

研究动机与目标

• 解决 R 中缺乏适用于伽马分布数据的可并行化正则化 GLM 实现的问题。
• 开发一种针对缺乏全局二次上界的伽马 GLM 的弹性网络正则化高效优化算法。
• 通过交叉验证实现高维数据中非负、右偏响应的可扩展模型选择。
• 在预测准确性和变量选择性能方面，优于基于 AIC/BIC 的标准 GLM 拟合方法。
• 提供一个实用的开源 R 包（glmGammaNet），适用于保险理赔和生存分析等实际应用场景。

提出的方法

• 将伽马 GLM 拟合问题表述为带有弹性网络惩罚的正则化优化问题。
• 通过使用似然函数的局部二次近似，开发一种加速近端梯度算法，以处理非全局二次边界的挑战。
• 实现了保护性线搜索，但在所有实验中均未激活。
• 采用交叉验证方案选择最优正则化参数 λ。
• 应用两种 λ 选择策略：保守策略（交叉验证中最小负对数似然）和激进策略（一个标准差规则）。
• 支持多核并行计算，以实现大规模数据集的高效计算。

实验结果

研究问题

• RQ1 尽管缺乏全局二次上界，是否能够高效且稳定地优化具有弹性网络正则化的伽马分布响应 GLM？
• RQ2 与基于 AIC/BIC 的标准 GLM 相比，glmGammaNet 在预测误差和变量选择方面的表现如何？
• RQ3 不同的正则化参数选择策略（如一个标准差规则）对模型准确性和稀疏性有何影响？
• RQ4 在噪声较大或高维数据中，通过 glmGammaNet 进行变量选择在多大程度上能降低预测误差？
• RQ5 所提出的方法在高维场景下是否能够实现高效并行化，以支持可扩展的推断？

主要发现

• glmGammaNet 方法的预测误差为 9.3%，显著优于无正则化的标准 glmGamma 的 10.4%。
• glmGammaNet.1sd 方法平均识别出 10 个真实零系数中的 7.815 个，有 50% 的概率正确识别出 8 个或更多，表现出强大的变量选择性能。
• 在移除 glmGammaNet.1sd 识别出的零系数变量后，预测误差降至 5.8%，表明通过变量选择减少噪声可提升预测准确性。
• glmGammaNet.1sd 方法有 50% 的概率识别出 8 个或更多真实零系数，优于 glmGammaNet（识别零系数的概率为 35%）和 glmGammaNet.percentile（峰值为 6 个系数）。
• 保护性线搜索从未被激活，表明局部二次近似在所有实验中均提供了稳健且充分的下降方向。
• R 包 glmGammaNet 已发布，支持多核并行计算，可实现大规模伽马 GLM 应用的可扩展计算。