[论文解读] More Powerful Conditional Selective Inference for Generalized Lasso by Parametric Programming

Vo Nguyen Le Duy, Ichiro Takeuchi|arXiv (Cornell University)|May 11, 2021

Statistical Methods and Inference参考文献 51被引用 19

一句话总结

本文提出了一种基于参数规划的条件选择性推断（PP-based SI）方法，用于广义lasso及其相关问题，通过追踪解路径以最小化条件化，克服了传统多面体基SI方法中的过度条件化问题。该方法在统计功效和计算效率方面表现更优，实证验证表明其在合成数据和真实世界数据集上均实现了更优的假阳性率控制和更强的p值功效。

ABSTRACT

Conditional selective inference (SI) has been studied intensively as a new statistical inference framework for data-driven hypotheses. The basic concept of conditional SI is to make the inference conditional on the selection event, which enables an exact and valid statistical inference to be conducted even when the hypothesis is selected based on the data. Conditional SI has mainly been studied in the context of model selection, such as vanilla lasso or generalized lasso. The main limitation of existing approaches is the low statistical power owing to over-conditioning, which is required for computational tractability. In this study, we propose a more powerful and general conditional SI method for a class of problems that can be converted into quadratic parametric programming, which includes generalized lasso. The key concept is to compute the continuum path of the optimal solution in the direction of the selected test statistic and to identify the subset of the data space that corresponds to the model selection event by following the solution path. The proposed parametric programming-based method not only avoids the aforementioned major drawback of over-conditioning, but also improves the performance and practicality of SI in various respects. We conducted several experiments to demonstrate the effectiveness and efficiency of our proposed method.

研究动机与目标

• 解决多面体基条件选择性推断的主要局限——过度条件化导致统计功效低下，在高维模型选择中的问题。
• 开发一种通用且计算上可行的条件选择性推断框架，适用于包括广义lasso、弹性网络和非负最小二乘在内的一类广泛正则化问题。
• 在复杂选择事件（如交叉验证产生的选择）下实现有效推断，这些事件难以用多面体表征。
• 通过最小化条件集，同时保持精确的误差率控制，提升选择性推断的实用性和性能。

提出的方法

• 将广义lasso问题建模为参数二次规划（QP），以计算测试统计量方向上的连续解路径。
• 利用参数规划追踪参数变化时的最优解路径，识别测试统计量的精确抽样分布，同时实现最小化条件化。
• 通过追踪解路径上的活动集来表征选择事件，避免对选择区域进行多面体表示。
• 利用解路径的路径连续性和分段线性性质，推导出选择性p值和置信区间。
• 通过将选择事件建模为路径依赖条件而非固定多面体，将方法扩展至通过交叉验证选择正则化参数的情形。
• 利用参数QP求解器高效实现该方法，即使在高维设置下也能实现可扩展的推断。

实验结果

研究问题

• RQ1 能否利用参数规划构建一种更强大的条件选择性推断方法，以避免广义lasso中的过度条件化？
• RQ2 所提出的PP-based SI方法在多大程度上可推广至其他正则化问题，如弹性网络和非负最小二乘？
• RQ3 在复杂选择场景（如基于交叉验证的正则化参数选择）下，PP-based SI的统计功效与多面体基SI相比如何？
• RQ4 所提出的方法能否在真实世界基因组和时间序列数据中，在保持更高功效的同时维持精确的I类错误控制？

主要发现

• 在真实世界array CGH数据上，所提出的PP-based SI方法的p值显著小于多面体基方法（OC），在两个数据集上p值幅度分别减少了55.81%和54.24%，表明其具有更高的统计功效。
• 在尼罗河流量数据上，该方法正确检测到1899年位置28处的突变点，与先前研究结果一致，验证了其在检测结构变化方面的准确性。
• 在前列腺癌数据集中，该方法为选定特征生成了有效的95%置信区间，且在数据驱动选择下仍保持了良好的覆盖性质。
• 该方法在所有实验中均成功控制了假阳性率，包括在具有已知真实值的合成数据上，证明了其精确的误差率控制能力。
• 所提出方法的计算成本显著低于Liu等人（2018）的符号枚举方法，避免了随特征符号组合呈指数增长的计算开销。
• 箱线图分析显示，对于所有真实的拷贝数变异，所提出方法的p值始终小于或等于OC方法，进一步证实了其更高的功效。