[论文解读] Generalized Additive Model Selection

Alexandra Chouldechova, Trevor Hastie|arXiv (Cornell University)|Jun 11, 2015

Statistical Methods and Inference参考文献 9被引用 60

一句话总结

GAMS EL 是一种用于在高维设置下拟合稀疏广义可加模型的惩罚似然方法，可为每个预测变量选择零效应、线性效应或非线性效应。它使用块坐标下降法优化调参路径，在变量选择方面优于现有方法，尤其当某些真实效应为线性时表现更优，同时保持了强大的预测性能和可解释性。

ABSTRACT

We introduce GAMSEL (Generalized Additive Model Selection), a penalized likelihood approach for fitting sparse generalized additive models in high dimension. Our method interpolates between null, linear and additive models by allowing the effect of each variable to be estimated as being either zero, linear, or a low-complexity curve, as determined by the data. We present a blockwise coordinate descent procedure for efficiently optimizing the penalized likelihood objective over a dense grid of the tuning parameter, producing a regularization path of additive models. We demonstrate the performance of our method on both real and simulated data examples, and compare it with existing techniques for additive model selection.

研究动机与目标

• 解决高维广义可加模型中的挑战，其中许多预测变量无关或冗余。
• 开发一种自适应方法，为每个预测变量选择零效应、线性效应或非线性效应，当线性关系已足够时仍保持可解释性。
• 在某些真实效应为线性的情况下，提升模型选择性能，优于现有方法如 SpAM 和 mgcv。
• 通过正则化路径方法，实现稀疏可加模型的可扩展且高效的拟合。
• 提供一个统一的框架，基于数据驱动证据在零模型、线性模型和可加模型之间插值。

提出的方法

• 构建一个惩罚负对数似然目标函数，结合偏差与对分量函数的结构化惩罚项。
• 使用块坐标下降算法在密集的调参网格上优化目标函数，生成完整的正则化路径。
• 采用平滑样条方法，通过复合惩罚结构区分线性与非线性分量，使用惩罚矩阵实现。
• 引入一个调参，控制对非线性的惩罚与对线性的惩罚之间的相对权重，实现基于数据的函数形式选择。
• 使用三次样条和二阶差分构造基函数与惩罚矩阵，以强制实现平滑性与稀疏性。
• 通过 R 包 `gamsel` 中的 `cv.gamsel` 函数实现交叉验证，使用 1 标准误差规则选择最优调参。

实验结果

研究问题

• RQ1 惩罚似然方法能否在高维广义可加模型中有效选择零效应、线性效应或非线性效应？
• RQ2 当某些真实分量函数为线性而非非线性时，GAMS EL 的变量选择性能与 SpAM 相比如何？
• RQ3 在零效应、线性效应和非线性效应的精确度与召回率方面，GAMS EL 是否优于 mgcv 的自动项选择方法？
• RQ4 GAMS EL 的正则化路径与块坐标下降算法在计算效率与准确性方面表现如何？
• RQ5 在真实与模拟数据中，GAMS EL 在捕捉复杂非线性关系的同时，能在多大程度上保持可解释性？

主要发现

• GAMS EL 在变量选择方面显著优于 mgcv 的 gam.selection，零效应与非零效应的误分类率为 0.25，而 mgcv 方法的误分类率在 0.44 至 0.51 之间。
• GAMS EL 在选择非零项方面的精确度达到 0.61，高于所有 mgcv 方法（0.32 至 0.44），表明假阳性更少。
• 当 γ = 0.4 时，GAMS EL 召回了 86% 的线性项，优于 mgcv 最佳召回率 52% 的线性项。
• GAMS EL 在所有模拟中对非零项的召回率均高达 97%，且精确度优于所有 mgcv 变体。
• 当所有效应均为非线性时，GAMS EL 与 SpAM 表现相当；但当部分效应为线性时，GAMS EL 显著优于 SpAM。
• 在 100 次模拟中，计算完整 GAMSEL 正则化路径的平均耗时为 3.1 秒，表明其具有良好的计算效率。