[论文解读] Complexity Analysis of the Lasso Regularization Path

Julien Mairal, Bin Yu|arXiv (Cornell University)|May 1, 2012

Markov Chains and Monte Carlo Methods参考文献 11被引用 60

一句话总结

本文证明了Lasso正则化路径在变量数量上的最坏情况时间复杂度为指数级，但提出了一种实用的近似同伦算法，该算法可计算出具有 O(1/√ε) 段的路径，确保每个解的相对 ε 对偶间隙均达到最优。该方法在理论保证与计算效率之间取得平衡，为高维设置下提供了精确路径追踪的稳健替代方案。

ABSTRACT

The regularization path of the Lasso can be shown to be piecewise linear, making it possible to "follow" and explicitly compute the entire path. We analyze in this paper this popular strategy, and prove that its worst case complexity is exponential in the number of variables. We then oppose this pessimistic result to an (optimistic) approximate analysis: We show that an approximate path with at most O(1/sqrt(epsilon)) linear segments can always be obtained, where every point on the path is guaranteed to be optimal up to a relative epsilon-duality gap. We complete our theoretical analysis with a practical algorithm to compute these approximate paths.

研究动机与目标

• 正式建立Lasso正则化路径的最坏情况计算复杂度。
• 弥补对Lasso路径复杂度理论理解的不足，尤其与经验观察到的线性缩放形成对比。
• 开发一种可实用的算法，计算具有强最优性保证的近似正则化路径。
• 证明近似路径相比精确路径显著降低了复杂度，尤其在病态情况下。

提出的方法

• 构建一个包含 p+1 个变量的病态Lasso实例，通过乘法因子增加路径复杂度，证明最坏情况复杂度为 (3^p + 1)/2。
• 提出一种近似同伦算法，通过使用对偶间隙准则，在路径上保持近似最优性条件。
• 采用基于相对 ε 对偶间隙的步长策略，确保每个计算点均为 ε-最优。
• 使用坐标下降作为内层求解器，并基于对偶间隙定义设置停止准则。
• 采用回溯线搜索策略，确保每一步中对偶间隙均实现充分减小。
• 应用路径追踪策略，通过聚焦于 ε-最优性而跳过精确拐点检测。

实验结果

研究问题

• RQ1 Lasso正则化路径中线性段数量的最坏情况数量如何随变量数量变化？
• RQ2 能否以远少于精确路径的段数计算出近似正则化路径，同时保持最优性保证？
• RQ3 近似路径的复杂度如何随所需精度 ε 变化？
• RQ4 能否设计一种实用算法，对病态条件和紧密相邻的拐点具有鲁棒性，同时确保 ε-最优性？

主要发现

• Lasso正则化路径中线性段的最坏情况数量恰好为 (3^p + 1)/2，其中 p 为变量数量。
• 所提出的近似同伦算法计算的路径段数最多为 O(1/√ε)，且每一段均保证在相对对偶间隙意义下为 ε-最优。
• 当 ε = 10^−3 时，近似路径的复杂度在病态示例（PATHOL）中低于完整路径复杂度的 0.5%，表现出显著降低。
• 在真实世界数据集（MADELON, PCMAC）上，近似路径复杂度与问题规模呈相似增长趋势，并随 ε 增大而显著降低。
• 该算法对病态条件和紧密相邻拐点具有鲁棒性，在数值不稳定区域的表现优于精确同伦算法。
• 数值实验表明，近似路径上采样解的对偶间隙始终在 ε 范围内，验证了理论保证。