[论文解读] More Powerful and General Selective Inference for Stepwise Feature Selection using the Homotopy Continuation Approach

Kazuya Sugiyama, Vo Nguyen Le Duy+1 more|arXiv (Cornell University)|Dec 25, 2020

Statistical Methods and Inference参考文献 44被引用 4

一句话总结

本文提出了一种基于同伦延续的筛选推断方法，用于分步特征选择，克服了传统多面体方法中因过度条件化而导致的统计效能损失。通过在数据空间中连续追踪选择事件，该方法实现了对复杂算法（如基于AIC准则停止的前向-后向SFS）更强大且更通用的推断，即使在算法复杂度增加的情况下仍能保持较高的统计效能。

ABSTRACT

Conditional selective inference (SI) has been actively studied as a new statistical inference framework for data-driven hypotheses. The basic idea of conditional SI is to make inferences conditional on the selection event characterized by a set of linear and/or quadratic inequalities. Conditional SI has been mainly studied in the context of feature selection such as stepwise feature selection (SFS). The main limitation of the existing conditional SI methods is the loss of power due to over-conditioning, which is required for computational tractability. In this study, we develop a more powerful and general conditional SI method for SFS using the homotopy method which enables us to overcome this limitation. The homotopy-based SI is especially effective for more complicated feature selection algorithms. As an example, we develop a conditional SI method for forward-backward SFS with AIC-based stopping criteria and show that it is not adversely affected by the increased complexity of the algorithm. We conduct several experiments to demonstrate the effectiveness and efficiency of the proposed method.

研究动机与目标

• 解决现有条件筛选推断方法因对选择事件过度条件化而导致的效能损失问题。
• 开发一种更通用且更强大的推断框架，适用于复杂特征选择算法（如基于AIC准则停止的前向-后向SFS）。
• 通过利用同伦延续方法追踪数据扰动下的选择事件，实现计算上可行的推断。
• 证明所提出的方法在选择复杂度增加时仍能保持高统计效能。

提出的方法

• 利用同伦延续方法，追踪响应向量在样本空间中沿线性轨迹变化时被选中特征的路径。
• 识别样本空间中保持相同特征选择结果的截断区域，从而实现对所选特征的条件推断。
• 通过连续路径追踪表征选择事件，而非依赖于单个多面体，避免对符号或选择历史施加过度条件。
• 将该方法应用于基于AIC准则停止的前向-后向SFS，证明其在算法复杂度较高时仍具有效性。
• 通过将数据空间限制在相同假设被选择的区域，推导检验统计量的条件抽样分布，并在交叉验证设置中使用分段二次函数验证误差。
• 采用最小条件化策略，仅对最终选择事件进行条件化，避免对中间模型或符号施加额外约束。

实验结果

研究问题

• RQ1 通过减少对选择事件的过度条件化，能否使分步特征选择的筛选推断更具效能？
• RQ2 同伦延续方法能否有效表征如基于AIC准则停止的前向-后向SFS等复杂特征选择算法的选择事件？
• RQ3 当选择过程涉及多个阶段和标准时，所提出的方法是否仍能保持高统计效能？
• RQ4 在算法复杂度增加的情况下，与多面体方法相比，该方法在效能和计算可行性方面表现如何？

主要发现

• 基于同伦的筛选推断方法通过最小化过度条件化，实现了比多面体方法更高的统计效能。
• 该方法成功处理了如基于AIC准则停止的前向-后向SFS等复杂特征选择算法，在复杂度增加时仍保持高统计效能，且未受负面影响。
• 实验表明，随着交叉验证中候选模型数量的增加，真正例率（TPR）下降，这是由于条件化更加严格，与置信区间长度增加的观察结果一致。
• 条件抽样分布的截断区域被推导为：在数据扰动参数下，所选模型保持最优的区间的交集，使用分段二次函数表示。
• 通过仅对最终选择结果进行条件化，该方法在交叉验证设置中展现出计算可行性与统计有效性，避免了对中间模型施加不必要的约束。