[论文解读] More powerful post-selection inference, with application to the Lasso

Keli Liu, Jelena Markovic+1 more|arXiv (Cornell University)|Jan 27, 2018

Statistical Methods and Inference参考文献 6被引用 35

一句话总结

本文提出了一种高维回归中后选择推断的新方法，特别针对套索（lasso）方法，通过最小化条件化以缩小置信区间宽度，同时保持精确的有限样本覆盖。该文引入了稳定的截断Z（TZ）方法，其置信区间显著短于现有方法（如TZ_M和TZ_Ms），尤其在模型违反或方差未知的情况下表现更优。

ABSTRACT

Investigators often use the data to generate interesting hypotheses and then perform inference for the generated hypotheses. P-values and confidence intervals must account for this explorative data analysis. A fruitful method for doing so is to condition any inferences on the components of the data used to generate the hypotheses, thus preventing information in those components from being used again. Some currently popular methods "over-condition", leading to wide intervals. We show how to perform the minimal conditioning in a computationally tractable way. In high dimensions, even this minimal conditioning can lead to intervals that are too wide to be useful, suggesting that up to now the cost of hypothesis generation has been underestimated. We show how to generate hypotheses in a strategic manner that sharply reduces the cost of data exploration and results in useful confidence intervals. Our discussion focuses on the problem of post-selection inference after fitting a lasso regression model, but we also outline its extension to a much more general setting.

研究动机与目标

• 解决高维回归中的后选择推断问题，因为数据驱动的变量选择会导致标准方法失效。
• 克服现有后选择方法中过度条件化的问题，该问题导致置信区间过宽。
• 开发计算上可行的方法，通过最小化条件化来保持有限样本有效性。
• 通过缩小区间宽度而不牺牲覆盖概率来提高推断功效，尤其在模型违反或方差未知的情况下。
• 将该框架扩展至套索之外的一般高维统计后选择推断问题。

提出的方法

• 提出一种最小条件化方法，以减少先前方法（如TZ_M和TZ_Ms）中固有的过度条件化问题。
• 引入两种新的截断Z（TZ）方法：TZ_stab-t 和 TZ_stab-ℓ₁，以在模型不确定性下稳定检验统计量的分布。
• 使用截断正态参考分布进行推断，但修改条件化方式，仅聚焦于选择过程中所用数据的必要部分。
• 对检验统计量应用一种稳定变换，以降低对方差和调优参数估计误差的敏感性。
• 通过仅对活动集和选择事件进行条件化，避免对辅助统计量的不必要条件化，从而确保精确的有限样本覆盖。
• 采用数值反演技术，避免因累积分布函数（CDF）反演中的数值不稳定性导致的无穷长区间。

实验结果

研究问题

• RQ1 如何在不牺牲有限样本覆盖的前提下，缩小高维回归中后选择置信区间的宽度？
• RQ2 现有后选择方法（如TZ_M和TZ_Ms）中的过度条件化对区间宽度和统计功效有何影响？
• RQ3 我们能否开发一种方法，在保持精确覆盖的同时对模型违反（如重尾或偏态误差）具有鲁棒性？
• RQ4 当方差未知或调优参数通过交叉验证估计时，新稳定截断Z方法与现有方法相比表现如何？
• RQ5 在高维设定下，战略性的假设生成在多大程度上可以降低数据探索的成本？

主要发现

• 所提出的稳定截断Z方法（TZ_stab-t 和 TZ_stab-ℓ₁）产生的置信区间显著短于TZ_M和TZ_Ms，尤其在模型违反时表现更优。
• 即使在重尾误差（t₃）或偏态误差（偏态正态）下，稳定方法仍能保持接近名义90%水平的实证覆盖，而TZ_M和TZ_Ms的区间长度明显增加。
• 当误差方差σ²未知并采用插补法估计时，TZ_M和TZ_Ms的区间长度显著增加，而稳定方法则保持相对稳健。
• 当λ通过10折交叉验证而非固定调优参数选择时，TZ_M和TZ_Ms的区间长度急剧增加，而稳定方法的影响极小。
• 稳定方法显著减少了因CDF反演中数值不稳定性导致的无穷长区间比例，提升了实际可用性。
• 在n=100、p=250且非零系数大小为0.29的模拟中，TZ_stab-t的中位区间长度显著短于TZ_M，且在所有情景下覆盖概率均接近0.9。