[论文解读] Learning interactions through hierarchical group-lasso regularization

Michael Lim, Trevor Hastie|arXiv (Cornell University)|Aug 12, 2013

Statistical Methods and Inference参考文献 13被引用 20

一句话总结

本文提出 glinternet，一种分层组套索正则化方法，可在强制强层次结构的前提下学习成对交互作用——即当交互作用被选中时，其主效应也必须被包含。该方法对筛选后的交互作用候选进行组套索正则化，并采用带自适应重启的 FISTA 实现高效优化，从而在高维设置（包括全基因组关联研究和混合类别-连续变量数据）中实现可扩展、可解释的交互作用建模。

ABSTRACT

We introduce a method for learning pairwise interactions in a manner that satisfies strong hierarchy: whenever an interaction is estimated to be nonzero, both its associated main effects are also included in the model. We motivate our approach by modeling pairwise interactions for categorical variables with arbitrary numbers of levels, and then show how we can accommodate continuous variables and mixtures thereof. Our approach allows us to dispense with explicitly applying constraints on the main effects and interactions for identifiability, which results in interpretable interaction models. We compare our method with existing approaches on both simulated and real data, including a genome wide association study, all using our R package glinternet.

研究动机与目标

• 开发一种学习成对交互作用的方法，强制执行强层次结构，确保在交互作用被选中时其主效应也被包含。
• 解决在 p >> n 情况下交互作用建模的可扩展性和可解释性挑战，特别是在基因组学和高维数据中。
• 实现在类别变量（任意水平数）和连续变量混合的多种变量类型中的有效交互作用学习。
• 通过两阶段方法（筛选后接组套索正则化）降低交互作用选择中的假发现率。
• 通过 R 包 glinternet 提供计算高效、可解释且可扩展的解决方案，适用于全基因组关联研究等实际应用。

提出的方法

• 该方法采用两阶段方法：首先筛选候选交互作用和主效应，然后应用组套索正则化以选择分层交互作用模型。
• 将主效应及其相关交互作用视为分组变量，组套索惩罚项强制整组选择或全不选择，从而确保强层次结构。
• 组套索惩罚项定义为 $ \lambda \sum_{i=1}^{p} \| \beta_i \|_2 $，其中 $ \beta_i $ 表示一组系数（例如，一个主效应及其交互作用），该惩罚项在组级别上鼓励稀疏性。
• 通过自适应重启改进 FISTA 算法，实现快速、可扩展的优化，即使在高维设置下也能实现高效计算。
• 筛选通过两种方法完成：(1) 使用深度为 2 的树提升方法，天然强制层次结构；(2) 受套索强规则启发的自适应规则，以早期剔除无关预测变量。
• 对每组进行归一化处理，使其 Frobenius 范数为单位长度，简化正则化参数调优并确保组惩罚的一致性。

实验结果

研究问题

• RQ1 基于组套索的方法能否在强制强层次结构的前提下有效学习成对交互作用，确保在交互作用被选中时其主效应也被包含？
• RQ2 在包含类别变量和连续变量的高维设置下，所提方法在假发现率和统计功效方面表现如何？
• RQ3 该方法能否扩展到大规模数据集（如全基因组关联研究，p > 10^5 个变量，n ~ 数千个观测值）？
• RQ4 基于提升的筛选与自适应强规则筛选在计算效率和选择准确性方面如何比较？
• RQ5 使用自适应重启的 FISTA 是否显著提升组套索优化在交互作用模型中的收敛速度和稳定性？

主要发现

• 在包含 500 个三水平类别变量和 800 个观测值的模拟研究中，glinternet 在发现 10 个交互作用后，平均假发现率约为 0.15，标准误较低。
• 该方法在模拟中成功恢复了真实的潜在交互作用结构，表现出较低的假发现率和较高的检测相关交互作用的能力。
• glinternet 已成功应用于真实全基因组关联研究，证明其在高 p、低 n 的大规模生物数据中的可行性。
• 与标准 FISTA 相比，使用自适应重启的 FISTA 算法显著提升了收敛速度并减少了振荡行为，从而在高维设置下实现了更快的优化。
• 组套索公式天然强制执行强层次结构，无需额外约束，从而生成更具可解释性和统计稳健性的交互作用模型。
• 筛选过程将候选交互作用数量从 $ O(p^2) $ 降低到可管理的子集，提升了计算可行性，且未牺牲选择准确性。