[论文解读] Combined l_1 and greedy l_0 penalized least squares for linear model selection

Piotr Pokarowski, Jan Mielniczuk|arXiv (Cornell University)|Oct 22, 2013

Statistical Methods and Inference参考文献 37被引用 13

一句话总结

本文提出了一种三步筛选-排序-选择（SOS）算法，结合ℓ₁惩罚Lasso进行预测变量筛选，以及通过广义信息准则（GIC）的贪婪ℓ₀惩罚最小二乘法进行模型选择。该方法在弱于Lasso单独使用时的条件下实现了选择一致性，关键结果表明，贪婪GIC选择的渐近错误概率不超过穷举GIC选择，从而大幅降低了计算成本，同时不损失准确性。

ABSTRACT

We introduce a computationally effective algorithm for a linear model selection consisting of three steps: screening--ordering--selection (SOS). Screening of predictors is based on the thresholded Lasso that is l_1 penalized least squares. The screened predictors are then fitted using least squares (LS) and ordered with respect to their t statistics. Finally, a model is selected using greedy generalized information criterion (GIC) that is l_0 penalized LS in a nested family induced by the ordering. We give non-asymptotic upper bounds on error probability of each step of the SOS algorithm in terms of both penalties. Then we obtain selection consistency for different (n, p) scenarios under conditions which are needed for screening consistency of the Lasso. For the traditional setting (n >p) we give Sanov-type bounds on the error probabilities of the ordering--selection algorithm. Its surprising consequence is that the selection error of greedy GIC is asymptotically not larger than of exhaustive GIC. We also obtain new bounds on prediction and estimation errors for the Lasso which are proved in parallel for the algorithm used in practice and its formal version.

研究动机与目标

• 开发一种在p > n时计算高效且选择一致的高维线性模型选择方法。
• 通过结合筛选与贪婪选择步骤，解决Lasso因不可表示性条件而无法正确选择模型的局限性。
• 证明贪婪ℓ₀惩罚最小二乘法（通过GIC）的选择误差概率渐近上不高于穷举搜索，从而保证选择一致性。
• 为SOS算法每一步提供基于Lasso和GIC惩罚的非渐近错误概率上界。

提出的方法

• 筛选步骤使用阈值Lasso（ℓ₁惩罚最小二乘法）将预测变量数量减少至最多n个。
• 排序步骤根据筛选集上完整最小二乘拟合的t统计量对筛选后的预测变量进行排序。
• 选择步骤在由排序诱导的嵌套模型族上应用贪婪搜索，使用ℓ₀惩罚的GIC惩罚最小二乘法。
• GIC惩罚用于从有序序列中选择最优模型，偏好拟合优度更好且复杂度更低的模型。
• 利用Lasso和GIC惩罚，为每一步推导出错误概率的非渐近上界。
• 理论分析表明，在受限等距性（RIP）和较弱的beta-min条件下，即使存在相关预测变量，也能实现选择一致性。

实验结果

研究问题

• RQ1 结合ℓ₁与ℓ₀惩罚最小二乘法的三步算法能否在高维线性模型中实现选择一致性？
• RQ2 通过GIC实现的贪婪ℓ₀惩罚最小二乘法的选择误差概率是否渐近上不高于穷举搜索？
• RQ3 阈值Lasso在何种条件下能提供支持后续模型选择的筛选一致性？
• RQ4 SOS算法中筛选、排序与选择步骤的非渐近错误边界如何依赖于Lasso和GIC惩罚？
• RQ5 当预测变量高度相关或虚假预测变量被复制时，所提出的SOS算法能否保持选择一致性？

主要发现

• SOS算法在受限等距性（RIP）和弱beta-min条件下实现选择一致性，即使预测变量高度相关亦成立。
• 贪婪GIC步骤的选择误差概率渐近上不高于穷举GIC，意味着贪婪搜索不会增加错误风险。
• 基于Lasso和GIC惩罚，为SOS算法每一步推导出错误概率的非渐近上界。
• 该方法为Lasso提供了新的非渐近预测误差与估计误差边界，适用于算法的实际与形式化版本。
• 在n > p设定下，论文推导出选择误差的一般边界，允许p和|T|趋于无穷大，且GIC惩罚阶为n。
• 理论结果证实，SOS算法在足以保证Lasso筛选一致性的条件下仍保持选择一致性，从而将适用范围扩展至更现实的高维场景。