[论文解读] Efficient Mixed-Norm Regularization: Algorithms and Safe Screening Methods

Jie Wang, Jun Liu+1 more|arXiv (Cornell University)|Jul 16, 2013

Sparse and Compressive Sensing Techniques参考文献 44被引用 9

一句话总结

本文提出了一种高效算法 GLEP 1q 和一种新颖的安全筛选方法 Smin，用于求解任意 q ≥ 1 的 ℓ₁/ℓ_q-正则化问题。该方法利用加速梯度下降法，并通过求解两个零点查找问题高效地完成 ℓ₁/ℓ_q 欧几里得投影，同时 Smin 通过对偶敏感性分析识别出不活跃组，使大规模数据上的计算量减少多达三个数量级。

ABSTRACT

Sparse learning has recently received increasing attention in many areas including machine learning, statistics, and applied mathematics. The mixed-norm regularization based on the l1q norm with q>1 is attractive in many applications of regression and classification in that it facilitates group sparsity in the model. The resulting optimization problem is, however, challenging to solve due to the inherent structure of the mixed-norm regularization. Existing work deals with special cases with q=1, 2, infinity, and they cannot be easily extended to the general case. In this paper, we propose an efficient algorithm based on the accelerated gradient method for solving the general l1q-regularized problem. One key building block of the proposed algorithm is the l1q-regularized Euclidean projection (EP_1q). Our theoretical analysis reveals the key properties of EP_1q and illustrates why EP_1q for the general q is significantly more challenging to solve than the special cases. Based on our theoretical analysis, we develop an efficient algorithm for EP_1q by solving two zero finding problems. To further improve the efficiency of solving large dimensional mixed-norm regularized problems, we propose a screening method which is able to quickly identify the inactive groups, i.e., groups that have 0 components in the solution. This may lead to substantial reduction in the number of groups to be entered to the optimization. An appealing feature of our screening method is that the data set needs to be scanned only once to run the screening. Compared to that of solving the mixed-norm regularized problems, the computational cost of our screening test is negligible. The key of the proposed screening method is an accurate sensitivity analysis of the dual optimal solution when the regularization parameter varies. Experimental results demonstrate the efficiency of the proposed algorithm.

研究动机与目标

• 开发一种通用、高效的 ℓ₁/ℓ_q-正则化优化算法，适用于所有 q > 1，超越 q=2 或 ∞ 等特殊情况。
• 解决 ℓ₁/ℓ_q-正则化欧几里得投影（EP 1q）的计算挑战，该问题对一般 q 值而言由于非光滑性和复杂结构而难以求解。
• 设计一种安全、高效的筛选方法，以极低的计算成本识别解中的不活跃组（零分量）。
• 通过结合高效求解器与有效的组消除策略，实现高维数据上 ℓ₁/ℓ_q 问题的可扩展优化。

提出的方法

• 提出 GLEP 1q，一种用于 ℓ₁/ℓ_q-正则化问题的加速梯度方法，通过使用对偶敏感性分析来高效求解子问题。
• 通过求解两个零点查找问题，开发了一种新颖的 ℓ₁/ℓ_q 欧几里得投影（EP 1q）算法，以处理该范数的非光滑、非可分结构。
• 提出 Smin，一种利用精确对偶解敏感性识别不活跃组的安全筛选方法，仅需一次数据扫描。
• Smin 通过在不同正则化参数下对对偶最优解进行基于区域的估计，确保正确性与高效性。
• 该筛选方法可与任何现有求解器兼容，并可用作预处理步骤以减小问题规模。
• 理论分析表明，对于一般 q 值，EP 1q 的复杂度显著高于 q=2 或 ∞ 等特殊情况，原因在于缺乏闭式解。

实验结果

研究问题

• RQ1 如何高效求解任意 q > 1 的 ℓ₁/ℓ_q-正则化欧几里得投影（EP 1q），而不仅限于 q=2 或 ∞ 等特殊情况？
• RQ2 求解 EP 1q 时面临哪些计算与理论挑战，又该如何克服？
• RQ3 能否设计一种安全且高效的筛选方法，以极低的计算开销识别 ℓ₁/ℓ_q 问题中的不活跃组？
• RQ4 所提出的筛选方法在减少优化过程中处理的组数方面有多高效，尤其是在高维设置下？
• RQ5 在大规模数据集上，GLEP 1q 与 Smin 筛选方法结合后的可扩展性与性能提升如何？

主要发现

• 所提出的 GLEP 1q 算法通过求解两个零点查找问题高效处理 ℓ₁/ℓ_q 欧几里得投影，实现了对所有 q > 1 的通用适用性，并显著提升速度。
• Smin 筛选将处理的组数减少了多达三个数量级，在 200,000 个特征的数据集上实现了超过 6000 倍的计算节省。
• 在 1000×10000 的数据矩阵上，当 q=2 时，Smin 使 GLEP 1q 的效率提升了 50 倍（n_g=400 时），其他情况下提升达 100 倍。
• 该筛选方法仅需对数据进行一次遍历，其计算成本与求解主优化问题相比可忽略不计。
• Smin 在所有测试维度下均优于 DPP 和强规则，展现出更强的鲁棒性与可扩展性。
• 理论分析证实，由于缺乏闭式解和非光滑性结构的增强，一般 q 值下的 EP 1q 比特殊情形（如 q=2 或 ∞）更复杂。