[论文解读] Reluctant additive modeling

J. Kenneth Tay, Robert Tibshirani|arXiv (Cornell University)|Dec 4, 2019

Statistical Methods and Inference参考文献 14被引用 1

一句话总结

本文提出了迟滞广义加性建模（RGAM），一种可扩展的多阶段算法，用于拟合稀疏广义加性模型（GAMs），优先考虑线性特征而非非线性特征。通过扩展迟滞交互作用建模原则，RGAM能够高效处理二值、计数和生存数据，在线性关系不足时提升模型准确性。

ABSTRACT

Sparse generalized additive models (GAMs) are an extension of sparse generalized linear models which allow a model's prediction to vary non-linearly with an input variable. This enables the data analyst build more accurate models, especially when the linearity assumption is known to be a poor approximation of reality. Motivated by reluctant interaction modeling (Yu et al. 2019), we propose a multi-stage algorithm, called $ extit{reluctant generalized additive modeling (RGAM)}$, that can fit sparse generalized additive models at scale. It is guided by the principle that, if all else is equal, one should prefer a linear feature over a non-linear feature. Unlike existing methods for sparse GAMs, RGAM can be extended easily to binary, count and survival data. We demonstrate the method's effectiveness on real and simulated examples.

研究动机与目标

• 开发一种可扩展的方法，用于拟合稀疏广义加性模型（GAMs），能够处理非线性关系，同时保持可解释性。
• 解决现有稀疏GAM方法在不同指数族分布下缺乏灵活性的局限性。
• 在模型性能相近时，引入优先选择线性特征而非非线性特征的原则，以提升模型的简洁性。
• 将迟滞交互作用建模框架扩展至广义加性模型，以扩大其在二值、计数和生存结果中的适用范围。

提出的方法

• RGAM采用多阶段算法，按顺序将特征逐步加入模型，优先添加线性项，再考虑非线性项。
• 该方法基于广义线性模型框架的松弛形式，迭代拟合加性分量，从线性项开始。
• 采用迟滞选择策略，仅在无法由线性项充分解释方差时才引入非线性特征。
• 该算法设计为计算高效且可扩展，适用于高维数据。
• 支持多种指数族分布，通过适当的链接函数可应用于二值、计数和生存数据。
• 特征选择由惩罚似然方法引导，通过正则化实现稀疏性。

实验结果

研究问题

• RQ1 能否设计一种多阶段算法，高效拟合稀疏广义加性模型，同时优先考虑线性特征而非非线性特征？
• RQ2 在非线性情境下，迟滞选择原则如何提升模型准确性和可解释性？
• RQ3 RGAM在多大程度上可扩展至高斯族以外的广义线性模型，包括二值、计数和生存结果？
• RQ4 在不同数据类型下，RGAM与现有稀疏GAM方法相比，在性能和可扩展性方面表现如何？
• RQ5 特征选择顺序（线性项优先于非线性项）对模型拟合和预测准确性有何影响？

主要发现

• RGAM成功将迟滞交互作用建模原则扩展至广义加性模型，实现了在多样化数据类型上的可扩展拟合。
• 该方法通过在必要时允许非线性关系来提升模型准确性，同时避免过拟合。
• 通过优先选择线性特征，RGAM生成了更具可解释性的模型，符合简洁性原则。
• RGAM在模拟数据和真实世界数据集上均表现出色，尤其在非线性关系存在但不占主导地位的情况下。
• 该算法保持了计算效率和可扩展性，适用于高维数据应用。
• 该方法在二值、计数和生存数据上均表现有效，显示出在指数族分布上的稳健性。