[论文解读] L0Learn: A Scalable Package for Sparse Learning using L0 Regularization

Hussein Hazimeh, Rahul Mazumder+1 more|arXiv (Cornell University)|Feb 10, 2022

Machine Learning and Data Classification被引用 4

一句话总结

L0Learn 是一个基于 C++ 的可扩展包，提供 R 和 Python 接口，实现了使用 ℓ₀ 正则化的快速近似算法，用于稀疏线性回归与分类。它结合坐标下降与局部组合优化，实现了最先进的运行时间和统计性能——在包含高达 10⁵ 个特征的合成高维数据集上，其表现匹配或优于 glmnet、picasso、abess 和 ncvreg。

ABSTRACT

We present L0Learn: an open-source package for sparse linear regression and classification using $\ell_0$ regularization. L0Learn implements scalable, approximate algorithms, based on coordinate descent and local combinatorial optimization. The package is built using C++ and has user-friendly R and Python interfaces. L0Learn can address problems with millions of features, achieving competitive run times and statistical performance with state-of-the-art sparse learning packages. L0Learn is available on both CRAN and GitHub (https://cran.r-project.org/package=L0Learn and https://github.com/hazimehh/L0Learn).

研究动机与目标

• 解决 ℓ₀ 正则化学习的计算挑战，该问题为 NP-难，但可提供稀疏模型选择的优越统计特性。
• 为具有数百万个特征的高维问题开发一种实用且可扩展的解决方案，其中全局最优性在计算上不可行。
• 通过将坐标下降与局部组合优化相结合，改进现有近似方法（如 ℓ₁ 正则化，例如 glmnet）和非凸惩罚（如 MCP、SCAD）的性能，以获得更优的解质量。
• 通过生产就绪的 R 和 Python API，实现在基因组学和医疗保健等实际应用中的高效、用户友好的稀疏学习。
• 支持 ℓ₀ℓ₁ 和 ℓ₀ℓ₂ 正则化，以在稀疏性与收缩之间取得平衡，增强低信号环境下的模型鲁棒性。

提出的方法

• 以循环坐标下降（CD）作为核心优化引擎，针对不连续的 ℓ₀ 目标函数进行适配，保证收敛至局部极小值。
• 引入一个局部组合优化阶段，探索 CD 解附近的邻域解，以改善目标值并减少假阳性。
• 支持多种损失函数：平方误差（回归）、逻辑损失（分类）和平方合页损失（分类），实现广泛适用性。
• 实现双参数正则化路径：ℓ₀ 惩罚用于稀疏性，ℓ₁ 或 ℓ₂ 惩罚用于收缩，自动对 λ 和 γ 进行网格调优。
• 使用 C++ 后端实现高性能计算，并通过 CRAN 和 GitHub 上高效且用户友好的 R 和 Python 接口暴露功能。
• 采用热启动和 CD 中的高效更新以加速收敛，尤其在具有稀疏解的高维设置中表现更优。

实验结果

研究问题

• RQ1 快速近似的 ℓ₀ 正则化求解器是否能在统计性能和运行效率方面与最先进的 ℓ₁ 和非凸惩罚方法相媲美？
• RQ2 将局部组合优化与坐标下降结合，相较于仅使用 CD，在 ℓ₀ 正则化问题中如何提升解的质量？
• RQ3 L0Learn 在特征数高达 10⁵ 的问题上，能在保持低运行时间和高稀疏性准确率的前提下实现多大程度的可扩展性？
• RQ4 ℓ₀ℓ₂ 正则化形式在预测误差、假阳性控制和支持恢复方面是否优于 ℓ₀ℓ₁ 或标准 ℓ₁ 方法，且在不同信噪比下表现一致？
• RQ5 L0Learn 是否可作为精确 ℓ₀ 求解器的有效热启动启发式方法，从而在混合整数规划框架中提升其收敛性能？

主要发现

• 在所有测试的特征维度（p = 10³, 10⁴, 10⁵）下，L0Learn 的运行时间最快，中位时间分别为 0.09 秒、0.49 秒和 4.4 秒，优于 glmnet（0.55 秒、0.94 秒、8.0 秒）和 picasso（1.46 秒、2.92 秒、15.5 秒）。
• L0Learn 在所有 p 值下均实现了最低的预测误差（PE × 10² = 9.4），显著优于 glmnet（19.8）、picasso（19.8）、abess（11.0）和 ncvreg（9.4–9.6），且方差极小。
• 在所有设置中，L0Learn 报告的假阳性数为零（FP = 0），而 glmnet（154–485）、picasso（157–483）和 abess（2–3）均存在显著的误检率。
• 支持大小（SS）在所有情况下均完美恢复为 50，与真实稀疏性水平一致，而 abess 和 ncvreg 出现过拟合，SS = 52–54。
• 该包在 p = 10⁵ 特征下成功运行而未发生内存故障，而 abess 因内存限制在最大问题上无法收敛。
• L0Learn 的默认参数 ℓ₀ℓ₂ 形式在性能上匹配或超过调优后的 ℓ₁（glmnet）和 MCP（ncvreg）方法，证明了结合收缩的 ℓ₀ 正则化的价值。