[论文解读] Efficient Learning with a Family of Nonconvex Regularizers by Redistributing Nonconvexity

Quanming Yao, James T. Kwok|arXiv (Cornell University)|Jun 13, 2016

Sparse and Compressive Sensing Techniques参考文献 33被引用 11

一句话总结

本文提出了一种新颖的框架，通过将非凸正则化项的非凸性转移到损失函数中，实现对具有非凸正则化项的机器学习模型的高效优化，同时将正则化项转化为凸形式并保持光滑性。该方法使能使用快速且成熟的凸优化算法（例如，近端法、Frank-Wolfe、ADMM），在矩阵补全和图像去噪等基准任务上，其收敛速度显著快于当前最先进的非凸求解器。

ABSTRACT

The use of convex regularizers allows for easy optimization, though they often produce biased estimation and inferior prediction performance. Recently, nonconvex regularizers have attracted a lot of attention and outperformed convex ones. However, the resultant optimization problem is much harder. In this paper, for a large class of nonconvex regularizers, we propose to move the nonconvexity from the regularizer to the loss. The nonconvex regularizer is then transformed to a familiar convex regularizer, while the resultant loss function can still be guaranteed to be smooth. Learning with the convexified regularizer can be performed by existing efficient algorithms originally designed for convex regularizers (such as the proximal algorithm, Frank-Wolfe algorithm, alternating direction method of multipliers and stochastic gradient descent). Extensions are made when the convexified regularizer does not have closed-form proximal step, and when the loss function is nonconvex, nonsmooth. Extensive experiments on a variety of machine learning application scenarios show that optimizing the transformed problem is much faster than running the state-of-the-art on the original problem.

研究动机与目标

• 为解决非凸正则化学习中优化速度慢的问题，现有求解器（如 nmAPG）因计算成本高昂的近端步长而计算开销大。
• 通过重构问题以在正则化项中保持凸性，实现对非凸正则化项的高效优化——这些正则化项常用于实现更好的稀疏性与低秩估计。
• 保持整体目标函数的光滑性，从而可应用高效的梯度型方法，如近端算法、Frank-Wolfe 和 ADMM。
• 将该框架扩展至凸化正则化项缺乏闭式近端算子，或损失函数为非凸且非光滑的情形。
• 通过实证验证，求解变换后的问题比原始非凸形式的优化快得多，同时保持或提升预测性能。

提出的方法

• 该方法通过将非凸正则化项 $ g(x) $ 分解为凸部分 $ \hat{g}(x) $ 和凹部分 $ \tilde{g}(x) $，即 $ g(x) = \hat{g}(x) + \tilde{g}(x) $，并将 $ \tilde{g}(x) $ 吸收进损失函数 $ f(x) $，实现非凸性的重新分配。
• 这将原始的非凸问题 $ \min_x f(x) + g(x) $ 转化为 $ \min_x \tilde{f}(x) + \hat{g}(x) $，其中 $ \tilde{f}(x) = f(x) + \tilde{g}(x) $ 是光滑的，$ \hat{g}(x) $ 是凸的，从而可应用高效的凸优化算法。
• 对于无闭式近端算子的正则化项，该方法采用迭代逼近技术或平滑化方法（如通过 $ h_\lambda(x) $ 对 LSP 函数进行平滑化），使问题适用于基于梯度的方法。
• 当损失函数为非凸或非光滑时，该框架采用平滑化技术（如对数-和惩罚平滑）或 DC 规划（CCCP）来处理非光滑性，同时保持收敛性保证。
• 该方法在矩阵补全和图像去噪任务上进行了验证，使用近端梯度法、Frank-Wolfe 和 ADMM 等算法求解变换后的问题。
• 该方法支持在不同平滑级别 $ \lambda_i $ 下进行热启动，其中 $ \lambda_i = \lambda_0 \cdot \nu^i $，以在顺序优化中加速收敛。

实验结果

研究问题

• RQ1 能否通过将非凸正则化项转化为凸形式，同时保持原始问题结构，实现其高效优化？
• RQ2 将非凸性从正则化项转移到损失函数，是否能通过标准凸优化算法实现更快的收敛速度？
• RQ3 在速度和精度方面，变换后问题的性能与当前最先进的非凸求解器（如 nmAPG）相比如何？
• RQ4 当闭式近端步长不可用时，该框架能否有效处理复杂非凸正则化项（如融合 Lasso、重叠组 Lasso）？
• RQ5 平滑化与 DC 分解对非凸优化中收敛速度与解质量的影响如何？

主要发现

• 使用凸求解器（如近端法、Frank-Wolfe、ADMM）求解变换后的问题，其速度显著快于在原始非凸问题上运行最先进的 nmAPG 求解器。
• 该方法在预测性能上与凸正则化项（如 $ \ell_1 $、核范数）相当或更优，同时避免了这些方法固有的偏差。
• 在矩阵补全和图像去噪任务中，所提方法在收敛速度上优于现有非凸求解器，报告的加速比超过 nmAPG。
• 通过 $ h_\lambda(x) $ 对 LSP 正则化项进行平滑化，并采用 $ \lambda_0 = 0.1 $、$ \nu = 0.95 $ 的序列优化策略，可实现使用梯度下降的稳定且快速收敛。
• 理论分析表明，采用秩-$ r $ 因子分解的变换后问题的临界点，对应于原始问题的临界点，从而确保了解的质量。
• 该框架可通过 CCCP 和平滑化技术推广至非凸、非光滑损失函数，保持收敛性特性的同时实现高效优化。