[论文解读] Efficient Regularized Regression for Variable Selection with L0 Penalty

Zhenqiu Liu, Gang Li|arXiv (Cornell University)|Jul 28, 2014

Sparse and Compressive Sensing Techniques参考文献 21被引用 3

一句话总结

该论文提出了一种高效的期望最大化算法（L₀ EM），通过迭代优化一系列凸的L₂岭回归问题，直接求解NP难的L₀正则化回归问题。该方法在变量选择性能上优于LASSO，偏差更小，能够通过AIC/BIC实现直接模型选择而无需交叉验证，并在高维基因组数据中有效识别出具有生物学意义的基因和通路。

ABSTRACT

Variable (feature, gene, model, which we use interchangeably) selections for regression with high-dimensional BIGDATA have found many applications in bioinformatics, computational biology, image processing, and engineering. One appealing approach is the L0 regularized regression which penalizes the number of nonzero features in the model directly. L0 is known as the most essential sparsity measure and has nice theoretical properties, while the popular L1 regularization is only a best convex relaxation of L0. Therefore, it is natural to expect that L0 regularized regression performs better than LASSO. However, it is well-known that L0 optimization is NP-hard and computationally challenging. Instead of solving the L0 problems directly, most publications so far have tried to solve an approximation problem that closely resembles L0 regularization. In this paper, we propose an efficient EM algorithm (L0EM) that directly solves the L0 optimization problem. $L_0$EM is efficient with high dimensional data. It also provides a natural solution to all Lp p in [0,2] problems. The regularized parameter can be either determined through cross-validation or AIC and BIC. Theoretical properties of the L0-regularized estimator are given under mild conditions that permit the number of variables to be much larger than the sample size. We demonstrate our methods through simulation and high-dimensional genomic data. The results indicate that L0 has better performance than LASSO and L0 with AIC or BIC has similar performance as computationally intensive cross-validation. The proposed algorithms are efficient in identifying the non-zero variables with less-bias and selecting biologically important genes and pathways with high dimensional BIGDATA.

研究动机与目标

• 为解决高维数据中直接L₀正则化的计算不可行性，其中特征数量远超样本量。
• 开发一种直接优化L₀惩罚的算法，避免L₁（LASSO）的凸松弛化带来的估计偏差。
• 提供一种计算高效的正则化参数λ调优替代方案，无需交叉验证。
• 实现对真正相关变量以及高维组学数据中具有生物学意义的基因和通路的准确识别。
• 将该框架扩展至所有Lₚ惩罚，其中p ∈ [0,2]，包括LASSO（p=1）、弹性网络（p∈[1,2]）以及非凸Lₚ（p∈(0,1]）正则化。

提出的方法

• L₀ EM算法在E步中将隐变量η设为当前参数估计值θ，在M步中通过加权岭回归更新θ。
• M步求解优化问题：θ = (XₜₐₜX + λI)⁻¹Xₜₐₜy，其中Xₜₐₜ为带权重η²⁻ᵖ的加权设计矩阵。
• 该算法源自对L₀惩罚的平滑近似，将非凸的L₀问题转化为一系列凸子问题。
• 该方法自然推广至所有p ∈ [0,2]的Lₚ惩罚，其中惩罚项重写为∑|θⱼ|ᵖ = ∑θⱼ² / ηⱼ²⁻ᵖ。
• 在弱条件下保证收敛，算法在每次迭代后收敛至唯一解。
• 最终通过硬阈值步骤将θⱼ设为0，若|θⱼ| < ε，以强制实现稀疏性。

实验结果

研究问题

• RQ1 是否能在高维回归设置中高效实现L₀惩罚的直接优化？
• RQ2 L₀正则化回归在变量选择准确性、估计偏差和预测误差方面是否优于LASSO？
• RQ3 AIC和BIC等模型选择准则是否可有效用于确定最优λ，而无需交叉验证？
• RQ4 在高维图模型中，该方法对误发现率（FDR）的控制效果如何？
• RQ5 该方法是否能在真实高维基因组数据中识别出具有生物学意义的基因和通路？

主要发现

• L₀正则化回归在变量选择准确性上显著优于LASSO，尤其在弱相关结构下表现更优，具有更低的假阳性率和更小的测试MSE。
• L₀ EM算法的估计偏差低于LASSO，后者已知会将非零参数的系数向零收缩。
• AIC和BIC能提供与计算密集型交叉验证性能相当的最优λ值，从而无需路径依赖的调优。
• 在图模型模拟中，该方法在不同样本规模下均能很好地控制误发现率（FDR），FDR保持在较低水平。
• 在卵巢癌基因表达数据中，该方法成功识别出涉及已知癌症相关基因（如FAP、CTSK、SPARC和COL1A1）的生物学相关子网络。
• 该方法能有效识别关键生物通路和潜在治疗靶点，展示了其在系统生物学和生物标志物发现中的应用价值。