[论文解读] Interaction Pursuit with Feature Screening and Selection

Yingying Fan, Yinfei Kong+2 more|arXiv (Cornell University)|May 28, 2016

Gene expression and cancer classification参考文献 39被引用 20

一句话总结

本文提出交互作用探索（Interaction Pursuit, IP），一种用于在超高维数据中识别重要主效应和交互作用的两阶段方法。该方法首先使用一种新颖的特征筛选方法，分别对交互作用和主效应进行筛选，然后应用正则化进行选择，在一般条件下实现了保证筛选（sure screening）和Oracle性质，模拟和真实数据实验均表明其具有高效性和准确性。

ABSTRACT

Understanding how features interact with each other is of paramount importance in many scientific discoveries and contemporary applications. Yet interaction identification becomes challenging even for a moderate number of covariates. In this paper, we suggest an efficient and flexible procedure, called the interaction pursuit (IP), for interaction identification in ultra-high dimensions. The suggested method first reduces the number of interactions and main effects to a moderate scale by a new feature screening approach, and then selects important interactions and main effects in the reduced feature space using regularization methods. Compared to existing approaches, our method screens interactions separately from main effects and thus can be more effective in interaction screening. Under a fairly general framework, we establish that for both interactions and main effects, the method enjoys the sure screening property in screening and oracle inequalities in selection. Our method and theoretical results are supported by several simulation and real data examples.

研究动机与目标

• 解决在协变量数量增加时交互项数量呈二次增长的超高维数据集中识别显著主效应和交互作用的挑战。
• 克服现有正则化方法在高维设置下依赖继承性假设和复杂约束所导致的计算与理论局限性。
• 开发一种灵活、高效且理论基础坚实的算法，通过分离交互作用与主效应的筛选过程，提升检测能力。
• 在一般模型假设下，为交互作用与主效应选择建立理论保证——保证筛选性质与Oracle不等式。
• 通过广泛的模拟实验与真实数据应用（包括全基因组关联研究）展示该方法的实际性能。

提出的方法

• 提出一种双尺度学习框架：首先，采用一种新型特征筛选方法，分别对主效应和交互作用的候选项进行排序并减少其数量。
• 使用边际相关性筛选方法，结合改进的检验统计量，评估每个特征及其交互项的联合贡献。
• 在降维后的特征空间中应用正则化（如Lasso型）以选择重要的主效应与交互作用，确保稀疏性与可解释性。
• 设计筛选步骤时将交互作用与主效应独立处理，避免联合筛选或继承性约束模型带来的偏差。
• 理论分析表明，该方法在温和正则性条件下可实现保证筛选性质与Oracle不等式。
• 将筛选与选择步骤整合为统一流程，在样本量增长时 $ p $ 非多项式增长的情况下仍保持计算效率。

实验结果

研究问题

• RQ1 一种分别对交互作用与主效应进行筛选的两阶段方法，是否在识别超高维数据中的重要特征方面优于联合筛选？
• RQ2 所提出的交互作用探索方法是否对主效应与交互作用均保持保证筛选性质，并实现Oracle不等式？
• RQ3 在选择准确率与计算成本方面，该方法相较于SIS、DC-SIS、SIRI和层级正则化方法表现如何？
• RQ4 当继承性假设被违反或误差分布偏离正态分布时，该方法的有效性在多大程度上仍保持？
• RQ5 该方法在大规模数据集（如基因组学中 $ p $ 达数千甚至更多）中是否具备高效的可扩展性？

主要发现

• IP方法对主效应与交互作用均实现了保证筛选性质，在所有模拟设置下，无论误差为正态分布还是重尾分布，真阳性率均为100%。
• 在 $ p = 200 $ 的模拟中，IP相比hierNet将计算时间减少了8.46倍；在 $ p = 500 $ 时，减少幅度达48.42倍，展现出卓越的可扩展性。
• 在交互作用模型M3′和M4′中，IP分别保留了69%和26%的重要交互作用，显著优于SIS2（0%）、DC-SIS2（0%）和SIRI*2（5%和20%）。
• 在所有误差分布（正态分布、t分布）下，当 $ p = 2000 $ 且 $ n = 200 $ 时，IP对所有重要主效应的保留率均为100%，而SIRI*2下降至77%。
• 在高维设置下 $ p = 5000 $ 时，IP在最佳情况下保留了99%的重要主效应和98%的重要交互作用，显著优于其他竞争方法。
• 该方法在不同相关结构（$ ho = 0 $ 与 $ ho = 0.5 $）下表现稳定，选择准确率无显著下降。