[论文解读] Group Sparse Additive Models

Junming Yin, Xi Chen+1 more|PubMed|Jun 18, 2012

Statistical Methods and Inference参考文献 18被引用 18

一句话总结

本文提出群组稀疏加法模型（GroupSpAM），一种用于非参数加法建模的方法，通过将l1/l2范数推广至希尔伯特空间，实现群组层面的稀疏性。该方法引入了一种类群级阈值条件及一种高效的块坐标下降算法，在模拟数据和真实乳腺癌数据上的变量选择与预测精度方面均优于现有方法。

ABSTRACT

We consider the problem of sparse variable selection in nonparametric additive models, with the prior knowledge of the structure among the covariates to encourage those variables within a group to be selected jointly. Previous works either study the group sparsity in the parametric setting (e.g., group lasso), or address the problem in the nonparametric setting without exploiting the structural information (e.g., sparse additive models). In this paper, we present a new method, called group sparse additive models (GroupSpAM), which can handle group sparsity in additive models. We generalize the <i>ℓ</i>₁<i>/ℓ</i>₂ norm to Hilbert spaces as the sparsity-inducing penalty in GroupSpAM. Moreover, we derive a novel thresholding condition for identifying the functional sparsity at the group level, and propose an efficient block coordinate descent algorithm for constructing the estimate. We demonstrate by simulation that GroupSpAM substantially outperforms the competing methods in terms of support recovery and prediction accuracy in additive models, and also conduct a comparative experiment on a real breast cancer dataset.

研究动机与目标

• 解决非参数加法模型中的稀疏变量选择问题，同时利用协变量之间的群组结构。
• 弥合参数模型中群组稀疏性（如群组lasso）与非参数模型之间缺乏结构利用的差距。
• 开发一种方法，实现在加法模型中对预定义群组内变量的联合选择。
• 通过利用群组级稀疏性约束，提升支持恢复与预测精度。
• 提供一种可扩展且高效的优化算法，用于估计群组稀疏加法模型。

提出的方法

• 将l1/l2范数推广至希尔伯特空间，以在函数估计中诱导群组稀疏性。
• 提出一种新颖的阈值条件，用于在加法模型中识别群组层面的功能稀疏性。
• 采用块坐标下降算法高效求解优化问题，并提供收敛性保证。
• 使用再生核希尔伯特空间（RKHS）表示来建模非参数加法函数。
• 通过一种惩罚项引入群组结构，促使整个函数群组同时为零或非零。
• 推导对偶形式，以实现群组层面收缩阈值的高效计算。

实验结果

研究问题

• RQ1 能否通过希尔伯特空间中l1/l2范数的推广，在非参数加法模型中有效实现群组稀疏性？
• RQ2 在协变量中引入群组结构是否能提升加法模型中的支持恢复与预测精度？
• RQ3 所提出的群组级阈值条件与稀疏加法模型中的单函数阈值相比有何差异？
• RQ4 GroupSpAM在合成数据与真实世界数据上的实证性能相较于竞争方法如何？
• RQ5 块坐标下降算法能否在理论上保证收敛，并高效优化群组稀疏加法模型？

主要发现

• 当协变量具有有意义的群组结构时，GroupSpAM在支持恢复方面显著优于竞争方法。
• 在模拟数据和真实乳腺癌数据集上，该方法的预测精度均高于标准稀疏加法模型与群组lasso。
• 所提出的群组级阈值条件能有效识别相关协变量群组，同时抑制无关群组。
• 块坐标下降算法收敛迅速，且在群组与协变量数量增加时仍保持良好可扩展性。
• 实证结果表明，利用群组结构可实现高维非参数设置下更稳定、更具可解释性的变量选择。
• 在乳腺癌数据集上，GroupSpAM识别出比基线方法更简洁且更准确的模型，凸显其实际应用价值。