[论文解读] Efficient L1/Lq Norm Regularization

Jun Liu, Jieping Ye|arXiv (Cornell University)|Sep 24, 2010

Sparse and Compressive Sensing Techniques被引用 25

一句话总结

本文提出 GLEP 1q，一种用于求解任意 q ≥ 1 的 ℓ₁/ℓₚ 范数正则化问题的高效算法，采用带新型 ℓ₁/ℓₚ-正则化欧几里得投影（EP 1q）的加速梯度法。核心贡献是通过两个零点查找问题，理论上严谨且高效地求解 EP 1q，从而实现对特殊情形（如 q=2 或 ∞）之外的可扩展组稀疏学习。

ABSTRACT

Sparse learning has recently received increasing attention in many areas including machine learning, statistics, and applied mathematics. The mixed-norm regularization based on the L1/Lq norm with q > 1 is attractive in many applications of regression and classification in that it facilitates group sparsity in the model. The resulting optimization problem is, however, challenging to solve due to the structure of the L1/Lq -regularization. Existing work deals with special cases including q = 2,infinity, and they cannot be easily extended to the general case. In this paper, we propose an efficient algorithm based on the accelerated gradient method for solving the L1/Lq -regularized problem, which is applicable for all values of q larger than 1, thus significantly extending existing work. One key building block of the proposed algorithm is the L1/Lq -regularized Euclidean projection (EP1q). Our theoretical analysis reveals the key properties of EP1q and illustrates why EP1q for the general q is significantly more challenging to solve than the special cases. Based on our theoretical analysis, we develop an efficient algorithm for EP1q by solving two zero finding problems. Experimental results demonstrate the efficiency of the proposed algorithm.

研究动机与目标

• 解决当 q > 1 时，除 q=2 或 ∞ 等特殊情况外，ℓ₁/ℓₚ 正则化问题缺乏高效求解器的问题。
• 开发一种适用于所有 q ≥ 1 的通用算法，以实现在回归与分类任务中可扩展的组稀疏学习。
• 通过设计高效的欧几里得投影（EP 1q）作为核心子程序，克服非光滑 ℓ₁/ℓₚ 正则化带来的计算挑战。
• 建立理论洞见，解释为何一般 q 下的 EP 1q 比 q=2 或 ∞ 时复杂得多，从而指导算法设计。

提出的方法

• 基于加速梯度法提出 GLEP 1q 算法，用于求解 ℓ₁/ℓₚ 正则化最小化问题。
• 引入 ℓ₁/ℓₚ 正则化欧几里得投影（EP 1q）作为关键子程序，其定义为带有 ℓ₁/ℓₚ 正则化的凸优化问题的解。
• 理论分析表明，一般 q 下的 EP 1q 比 q=2 或 ∞ 时更复杂，原因在于其非可分性和非光滑性结构。
• 通过使用二分法或牛顿型方法求解两个零点查找问题，将 EP 1q 的求解高效化。
• 利用邻近算子框架将 EP 1q 集成到加速梯度框架中，确保收敛性。
• 通过支持解析解或高效数值解，确保 EP 1q 的可扩展性，即使在大规模问题中亦可适用。

实验结果

研究问题

• RQ1 为何一般 q > 1 时的 ℓ₁/ℓₚ 正则化欧几里得投影（EP 1q）在计算上显著比 q=2 或 ∞ 等特殊情况更困难？
• RQ2 能否为 ℓ₁/ℓₚ 正则化问题开发一种高效且通用的算法，适用于所有 q ≥ 1，而不仅限于 q=2 或 ∞？
• RQ3 与 Spg 等现有求解器相比，所提出的 GLEP 1q 算法在 q=2 时的收敛行为和计算效率如何？
• RQ4 在真实数据中，q 的选择如何影响 ℓ₁/ℓₚ 正则化在模型准确率和稀疏性方面的性能表现？

主要发现

• 在不同样本数 m 和正则化参数 λ 下，GLEP 1q 在 q=2 时的计算时间均优于 Spg 算法，展现出更高的效率。
• 在固定 m 和 λ 的条件下，GLEP 1q 在不同 q 值（如 q=1.5、2、3）下的计算时间保持相近，表明其对 q 变化的鲁棒性。
• 在 Letter 数据集上，较小的 q 值（如 q=1.5）实现了比更大 q 值更优的平衡错误率，表明 q 存在性能权衡。
• 理论分析证实，一般 q 下的 EP 1q 比 q=2 或 ∞ 时更复杂，原因在于组结构中 ℓₚ 范数的非可分性和非光滑性。
• 所提算法可高效求解任意 q ≥ 1 的 ℓ₁/ℓₚ 正则化问题，显著拓展了组稀疏学习在先前工作之外的应用范围。
• 通过使用两个零点查找问题，实现了 EP 1q 的高效且数值稳定的求解，构成 GLEP 1q 算法的核心基础。