[论文解读] Fast Learning with Nonconvex L1-2 Regularization

Quanming Yao, James T. Kwok+1 more|arXiv (Cornell University)|Oct 29, 2016

Sparse and Compressive Sensing Techniques参考文献 22被引用 3

一句话总结

本文提出了一种非凸 ℓ₁₋₂ 正则化项的闭式近端梯度解法，实现了稀疏与低秩学习中快速高效的优化。通过推导出解析的近端步长，该方法在压缩感知、矩阵补全和图像去噪任务中，相较于最先进算法展现出更优的收敛速度与恢复性能。

ABSTRACT

Convex regularizers are often used for sparse learning. They are easy to optimize, but can lead to inferior prediction performance. The difference of $\ell_1$ and $\ell_2$ ($\ell_{1-2}$) regularizer has been recently proposed as a nonconvex regularizer. It yields better recovery than both $\ell_0$ and $\ell_1$ regularizers on compressed sensing. However, how to efficiently optimize its learning problem is still challenging. The main difficulty is that both the $\ell_1$ and $\ell_2$ norms in $\ell_{1-2}$ are not differentiable, and existing optimization algorithms cannot be applied. In this paper, we show that a closed-form solution can be derived for the proximal step associated with this regularizer. We further extend the result for low-rank matrix learning and the total variation model. Experiments on both synthetic and real data sets show that the resultant accelerated proximal gradient algorithm is more efficient than other noncovex optimization algorithms.

研究动机与目标

• 解决高效优化非凸 ℓ₁₋₂ 正则化项的挑战，该正则化项为 ‖x‖₁ − ‖x‖₂ 的 ℓ₁ 与 ℓ₂ 范数之差。
• 克服现有方法（如 DCA 和 SCP）效率低下的问题，这些方法需要昂贵的子问题求解且收敛缓慢。
• 通过推导出廉价的闭式近端步长，使近端梯度算法——已知具有收敛性保证——能够应用于 ℓ₁₋₂ 正则化。
• 将所提方法扩展至低秩矩阵学习与总变差模型，以提升其在机器学习与信号处理中的广泛适用性。

提出的方法

• 推导出 ℓ₁₋₂ 正则化项近端算子的闭式解法，通过阈值化与软阈值化原理求解 argminₓ ½‖x − z‖₂² + λ(‖x‖₁ − ‖x‖₂)。
• 利用 ℓ₁₋₂ 的凸差（DC）结构，应用近端梯度方法，该方法在非凸、非光滑正则化项下仍能收敛至临界点。
• 设计一种专用算法（nmAPG），利用闭式近端步长，并在矩阵补全中利用低秩结构以加速 SVD 计算。
• 通过在核范数与总变差模型中应用近端步长，将框架扩展至低秩矩阵学习，同时保持高效性。
• 在图像去噪中实现一种交替最小化（AltMin）算法，结合总变差与 ℓ₁₋₂ 正则化。
• 采用高效的数值技术，如非精确线搜索与自适应秩更新，以在保持精度的同时维持计算速度。

实验结果

研究问题

• RQ1 能否为非凸 ℓ₁₋₂ 正则化项（即 ℓ₁ 与 ℓ₂ 范数之差）推导出闭式近端步长？
• RQ2 使用该闭式近端步长是否能显著提升近端梯度算法在稀疏与低秩学习中的收敛速度与性能？
• RQ3 在真实世界数据集上，该方法与 DCA、FaNCL 和 AIS-Impute 等最先进求解器相比，在恢复精度与运行时间方面表现如何？
• RQ4 在矩阵补全与图像去噪任务中，ℓ₁₋₂ 正则化项是否能超越其他非凸正则化项（如 log-sum-penalty、capped ℓ₁）？
• RQ5 所提方法在大规模问题中是否具备可扩展性与有效性，特别是在结合低秩或总变差结构时？

主要发现

• 在所有测试图像的矩阵补全任务中，该方法实现了最低的 RMSE，优于核范数与基于因子分解的方法。
• 在图像去噪中，nmAPG 的运行速度比 DCA 快 20–30 倍，同时重建质量相当。
• 在矩阵补全任务中，nmAPG 的恢复误差显著低于 AIS-Impute、SketchCG、ARSS-M3F、LMaFit 和 ER1MP，且速度远超多数方法。
• 闭式近端步长实现了高效的优化，无需迭代求解子问题，降低了每轮迭代的计算成本，从而加速收敛。
• 在合成数据与真实世界数据上，ℓ₁₋₂ 正则化项在恢复精度方面始终优于其他非凸正则化项。
• 该方法在多种任务中均保持优异性能，包括压缩感知、矩阵补全与图像去噪，展现出广泛的适用性。