[论文解读] Generalized Sparse Additive Models

Asad Haris, Noah Simon+1 more|PubMed|Mar 11, 2019

Statistical Methods and Inference参考文献 9被引用 8

一句话总结

本文提出了一种用于高维广义稀疏加法模型（GSAM）的统一框架，通过近端梯度算法结合结构诱导与稀疏性惩罚，实现类似套索的计算效率。在弱相容性条件下建立了极小极大最优收敛速率，并表明由于稀疏性与结构惩罚之间的最优关联，交叉验证可仅针对单一调优参数进行。

ABSTRACT

We present a unified framework for estimation and analysis of generalized additive models in high dimensions. The framework defines a large class of penalized regression estimators, encompassing many existing methods. An efficient computational algorithm for this class is presented that easily scales to thousands of observations and features. We prove minimax optimal convergence bounds for this class under a weak compatibility condition. In addition, we characterize the rate of convergence when this compatibility condition is not met. Finally, we also show that the optimal penalty parameters for structure and sparsity penalties in our framework are linked, allowing cross-validation to be conducted over only a single tuning parameter. We complement our theoretical results with empirical studies comparing some existing methods within this framework.

研究动机与目标

• 开发一种通用且计算高效的框架，用于估计具有稀疏性与平滑性约束的高维广义加法模型。
• 解决现有方法在高维设置下计算可扩展性与统计收敛性质方面的不足。
• 在统一的理论与算法框架下整合多种现有方法，如 SpAM、趋势过滤与 Sobolev 惩罚模型。
• 在弱相容性条件下，为所提出的估计器类建立极小极大最优收敛速率。
• 证明稀疏性与结构惩罚的最优惩罚参数存在关联，从而实现仅通过单一调优参数进行交叉验证。

提出的方法

• 该框架将估计问题表述为一个凸优化问题，结合负对数似然损失与结构诱导及稀疏性诱导惩罚。
• 采用加速近端梯度下降求解优化问题，将其简化为重复的单变量惩罚最小二乘问题。
• 该算法每轮迭代的时间复杂度为 O(np)，与最先进的套索求解器相当，可实现对数千个特征与观测值的可扩展性。
• 该方法支持广泛的结构惩罚类型，包括 Sobolev、Hölder、总变差以及再生核希尔伯特空间（RKHS）范数。
• 理论分析表明，收敛速率可达 max(s log p / n, s ξₙ) 阶，其中 s 为活跃特征数，ξₙ 为单变量极小极大速率。
• 该框架证明了稀疏性与结构惩罚的最优调优参数存在关联，从而允许仅通过单一参数进行交叉验证。

实验结果

研究问题

• RQ1 能否开发一种统一框架，用于估计同时具有稀疏性与平滑性约束的高维广义加法模型？
• RQ2 所提出的算法是否在保持统计最优性的同时，实现与套索求解器相当的计算效率？
• RQ3 在弱相容性条件及其之外，所提出估计器的极小极大收敛速率为何？
• RQ4 结构惩罚与稀疏性惩罚之间如何相互作用？该相互作用能否被利用以减少调优参数数量？
• RQ5 该框架能否统一并推广现有方法，如 SpAM、趋势过滤与 Sobolev 惩罚模型？

主要发现

• 所提出的近端梯度算法每轮迭代复杂度为 O(np)，可高效扩展至包含数千个特征与观测值的高维数据。
• 在弱相容性条件下，该框架实现了极小极大最优收敛速率 max(s log p / n, s ξₙ)，其中当采用 m 阶 Sobolev 或 Hölder 惩罚时，ξₙ = n^(-2m/(2m+1))。
• 当不满足相容性条件时，该方法仍能实现 s ξₙ 阶的收敛速率，表明其对较弱假设具有鲁棒性。
• 稀疏性与结构惩罚的最优惩罚参数在数学上存在关联，使得交叉验证可仅基于单一调优参数进行，而非两个。
• 实证研究表明，0 阶、1 阶与 2 阶趋势过滤在各类场景下表现相近，其中 0 阶在分段常数设定下表现最优。
• 在真实世界住房数据的分析中，0 阶趋势过滤（TF-0）实现了最低的测试误差与最高的真正例率（FPR 低于 10%），优于其他方法，包括套索与 SpAM。