[论文解读] Group Variable Selection via a Hierarchical Lasso and Its Oracle Property

Nengfeng Zhou, Ji Zhu|arXiv (Cornell University)|Jun 15, 2010

Gene expression and cancer classification参考文献 26被引用 6

一句话总结

本文提出了一种分层Lasso方法用于分组变量选择，能够在保持组间稀疏性的同时实现灵活的组内变量选择。通过结合组级别和个体级别惩罚，该方法实现了Oracle性质——在渐近意义上正确识别出重要组和变量，且估计与选择具有一致性与最优效率。

ABSTRACT

In many engineering and scientific applications, prediction variables are grouped, for example, in biological applications where assayed genes or proteins can be grouped by biological roles or biological pathways. Common statistical analysis methods such as ANOVA, factor analysis, and functional modeling with basis sets also exhibit natural variable groupings. Existing successful group variable selection methods such as Antoniadis and Fan (2001), Yuan and Lin (2006) and Zhao, Rocha and Yu (2009) have the limitation of selecting variables in an "all-in-all-out" fashion, i.e., when one variable in a group is selected, all other variables in the same group are also selected. In many real problems, however, we may want to keep the flexibility of selecting variables within a group, such as in gene-set selection. In this paper, we develop a new group variable selection method that not only removes unimportant groups effectively, but also keeps the flexibility of selecting variables within a group. We also show that the new method offers the potential for achieving the theoretical "oracle" property as in Fan and Li (2001) and Fan and Peng (2004).

研究动机与目标

• 解决现有分组选择方法存在的局限性，即强制执行‘全选或全不选’的选择策略，即整个组根据单个变量的显著性被整体选中或剔除。
• 实现在组内的选择性变量引入，这在基因集分析等应用中至关重要，因为在通路中的仅部分基因可能具有生物学相关性。
• 开发一种结合组级别与个体级别惩罚的正则化方法，以同时实现组稀疏性与组内灵活性。
• 证明所提出的方法可实现理论上的‘Oracle性质’——渐近地选择出正确模型，并以最优效率估计系数。

提出的方法

• 提出一种分层Lasso惩罚，对组级别应用L2-范数惩罚，对每组内的个体变量应用L1-范数惩罚。
• 将优化问题表述为最小化负对数似然加上惩罚项：$ \sum_{k=1}^{K} \|\boldsymbol{\beta}_k\|_2 + \lambda \sum_{k=1}^{K} \sum_{j=1}^{p_k} |\beta_{kj}| $，其中 $ \|\boldsymbol{\beta}_k\|_2 $ 为组级别惩罚。
• 采用两阶段估计程序：首先通过组Lasso估计组结构，然后在选定的组内进一步优化个体变量选择。
• 在正则条件下进行渐近分析，以建立Oracle性质，利用真实模型的稀疏性以及L1和组L2惩罚在零点的奇异性。
• 通过 $ \boldsymbol{\beta}_{n,\mathcal{A}_n} = \boldsymbol{B}^T_n \boldsymbol{\gamma}_n $ 的重新参数化，将活跃变量的估计与组结构解耦。
• 通过分析目标函数的Hessian矩阵与梯度，建立估计量的渐近正态性与一致性，证明其以高概率收敛至真实模型。

实验结果

研究问题

• RQ1 能否设计一种分组变量选择方法，允许在组内灵活选择个体变量，而非强制执行全选或全不选的组包含策略？
• RQ2 结合组L2与个体L1范数的分层惩罚是否能导致一种在高维设置下实现Oracle性质的方法？
• RQ3 与现有分组选择技术（如组Lasso）相比，该方法在模型选择准确性和估计效率方面表现如何？
• RQ4 在分层惩罚下，估计量的渐近性质如何，特别是变量选择一致性和估计偏差方面？
• RQ5 当样本量增加时，该方法能否一致地识别出正确的组与变量结构，即使预测变量数量也在增长？

主要发现

• 所提出的分层Lasso方法成功实现了灵活的组内变量选择，避免了传统组Lasso的全选或全不选策略。
• 该方法实现了Oracle性质：估计量在变量选择上具有一致性，且渐近正态，估计效率最优。
• 理论分析表明，随着样本量增加，估计量以概率趋于1收敛至真实模型。
• 目标函数的Hessian矩阵在概率上有界，且估计参数与真实参数之差以速率 $ O_p(\sqrt{q/n}) $ 收敛，其中 $ q $ 为活跃变量数量。
• 在组内仅部分变量真正具有预测能力的设定下，该方法优于标准Lasso与组Lasso。
• 理论结果证实，在满足正则性条件（包括稀疏性与有界特征值）下，该分层惩罚结构可实现组与个体变量选择的一致性。