[论文解读] Algorithms for Fitting the Constrained Lasso

Brian R. Gaines, Hua Zhou|arXiv (Cornell University)|Oct 28, 2016

Statistical Methods and Inference参考文献 27被引用 8

一句话总结

本文提出并比较了求解约束lasso问题的高效算法，该问题通过引入线性等式和不等式约束，将先验知识融入lasso模型。论文提出了一种新颖的解路径算法，结合ADMM与二次规划方法，并通过仿真和真实数据验证，表明该路径算法在高维设置下具有更高的效率与准确性。此外，研究还表明广义lasso可转化为约束lasso，但反之不成立。

ABSTRACT

We compare alternative computing strategies for solving the constrained lasso problem. As its name suggests, the constrained lasso extends the widely-used lasso to handle linear constraints, which allow the user to incorporate prior information into the model. In addition to quadratic programming, we employ the alternating direction method of multipliers (ADMM) and also derive an efficient solution path algorithm. Through both simulations and real data examples, we compare the different algorithms and provide practical recommendations in terms of efficiency and accuracy for various sizes of data. We also show that, for an arbitrary penalty matrix, the generalized lasso can be transformed to a constrained lasso, while the converse is not true. Thus, our methods can also be used for estimating a generalized lasso, which has wide-ranging applications. Code for implementing the algorithms is freely available in the Matlab toolbox SparseReg.

研究动机与目标

• 开发并比较求解具有线性约束的约束lasso问题的高效计算策略。
• 基于数据规模、效率与准确性，为算法选择提供实用建议。
• 推导一种新型解路径算法，避免变量分裂，同时保持计算效率。
• 证明广义lasso可转化为约束lasso，但反之不成立，从而拓展其适用范围。
• 在SparseReg MATLAB工具箱中实现并发布这些算法，供公众使用。

提出的方法

• 提出一种解路径算法，随着调优参数ρ减小，跟踪系数的活动集，并在次梯度条件被违反时更新活动集。
• 采用交替方向乘子法（ADMM）求解约束lasso问题，利用其高效处理约束与正则化的能力。
• 将二次规划作为基线方法，直接使用标准凸优化求解器求解约束优化问题。
• 推导出当 inactive 系数必须重新激活以避免次梯度违反的条件，具体为当 s_j · d/dρ[ρs_j] < 1 时。
• 通过QR分解将约束lasso转化为等价形式，实现高效计算，同时保持约束条件。
• 将路径算法适配于高维设置（n < p），解决了先前研究的局限性。

实验结果

研究问题

• RQ1 在不同数据规模下，解路径、ADMM与二次规划中哪类算法在速度与准确性之间达到最佳平衡？
• RQ2 解路径算法能否高效地适配于 n < p 的高维设置？
• RQ3 在路径追踪过程中，次梯度条件在何种情况下被违反？如何检测并纠正？
• RQ4 广义lasso问题是否可约化为约束lasso？这对算法复用有何影响？
• RQ5 线性约束（如单调性或非负性）如何影响解路径算法的性能与稳定性？

主要发现

• 所提出的解路径算法在计算效率方面优于ADMM与二次规划，尤其在大规模问题中表现更优。
• 该算法保持了高精度，能正确识别活动集，且当 s_j · d/dρ[ρs_j] < 1 时可检测并纠正次梯度违反。
• 广义lasso可转化为约束lasso问题，但反之不成立，表明约束lasso是更通用的框架。
• 路径算法成功适配于高维设置（n < p），这是先前研究（如He, 2011）所不具备的能力。
• 仿真与真实数据示例（包括单调温度趋势与正lasso应用）验证了所提方法的鲁棒性与实际应用价值。
• 算法实现已发布于SparseReg MATLAB工具箱中，支持可复现性，并促进研究社区的广泛应用。