[论文解读] False Discoveries Occur Early on the Lasso Path

Weijie Su, Małgorzata Bogdan+1 more|arXiv (Cornell University)|Nov 5, 2015

Statistical Methods and Inference参考文献 28被引用 17

一句话总结

本文表明，在具有独立设计矩阵和线性稀疏性的高维线性模型中，Lasso路径不可避免地在早期产生虚假发现，即使信噪比无限大且预测变量之间不相关。利用近似消息传递（AMP）理论，作者推导出一个精确的渐近权衡关系，表明无法同时实现低的假正类和假负类错误率，揭示了Lasso在稀疏性设定下的内在局限性。

ABSTRACT

In regression settings where explanatory variables have very low correlations and there are relatively few effects, each of large magnitude, we expect the Lasso to find the important variables with few errors, if any. This paper shows that in a regime of linear sparsity---meaning that the fraction of variables with a non-vanishing effect tends to a constant, however small---this cannot really be the case, even when the design variables are stochastically independent. We demonstrate that true features and null features are always interspersed on the Lasso path, and that this phenomenon occurs no matter how strong the effect sizes are. We derive a sharp asymptotic trade-off between false and true positive rates or, equivalently, between measures of type I and type II errors along the Lasso path. This trade-off states that if we ever want to achieve a type II error (false negative rate) under a critical value, then anywhere on the Lasso path the type I error (false positive rate) will need to exceed a given threshold so that we can never have both errors at a low level at the same time. Our analysis uses tools from approximate message passing (AMP) theory as well as novel elements to deal with a possibly adaptive selection of the Lasso regularizing parameter.

研究动机与目标

• 研究当非零系数数量与预测变量数量呈线性比例增长时，Lasso在高维回归中的基本局限性。
• 挑战一种普遍观点，即当信号较强且预测变量不相关时，Lasso能够可靠地选择真实特征并仅产生少量错误。
• 分析在线性稀疏性下Lasso路径的行为，特别是变量选择过程中真实特征与零特征的交织现象。
• 建立Lasso路径上假正类与假负类错误率之间精确的渐近权衡关系，且该关系与信号强度或相关结构无关。
• 证明即使在理想情况下（设计矩阵独立、信噪比无限大），由于系数收缩效应，Lasso路径早期仍不可避免地出现虚假发现。

提出的方法

• 采用近似消息传递（AMP）理论，分析在具有独立列的随机设计下Lasso路径的渐近行为。
• 推导出Lasso路径上I类错误（假正类）与II类错误（假负类）错误率之间的精确渐近权衡关系。
• 利用随机矩阵理论和大偏差不等式工具，对有限样本规模下错误模型选择的概率进行上界估计。
• 通过追踪随着正则化参数λ减小，变量进入和退出模型的顺序来分析选择路径。
• 考虑正则化参数λ的自适应选择，并推导出Lasso无法同时实现低错误率的条件。
• 提出一种新颖的Lasso解路径分解方法，将路径分解为真实特征与零特征的贡献部分，利用卡方尾部概率不等式和测度集中现象。

实验结果

研究问题

• RQ1 当预测变量不相关且信号较强时，Lasso是否能在路径上同时实现低的假正类与假负类错误率？
• RQ2 在线性稀疏性设定下，Lasso路径上I类与II类错误之间存在何种基本权衡关系？
• RQ3 为何即使在无相关性且信噪比无限大的情况下，Lasso路径仍会早期出现虚假发现？
• RQ4 系数收缩如何导致Lasso路径上虚假发现的早期出现？
• RQ5 早期虚假发现现象是由设计相关性引起，还是Lasso在线性稀疏性下的内在属性？

主要发现

• 在非零系数比例趋于常数的线性稀疏性设定下，即使设计矩阵列相互独立且信噪比无限大，Lasso路径早期仍不可避免地产生虚假发现。
• 存在I类与II类错误率之间的精确渐近权衡关系：若要实现低假负类错误率，则假正类错误率必然超过一个非消失的阈值。
• 该现象并非源于相关性或弱信号，而是由Lasso固有的收缩效应引起，导致零特征在路径中早于真实特征被选中。
• 即使在理想条件下（不相关设计、无限信噪比），由于正则化路径的结构，Lasso仍无法避免早期虚假发现。
• 理论边界表明，对于任意满足λ > 2σ²且λ > σ²δ/(cε)的λ，当非零系数数量与n呈线性比例增长时，Lasso路径仍表现出不可忽略的虚假发现率。
• 分析结果表明，Lasso应主要被视为一种变量筛选工具，而非模型选择工具，尤其在具有线性稀疏性的高维设定中。