[论文解读] Inexact Proximal Gradient Methods for Non-convex and Non-smooth Optimization

Bin Gu, Wang De+2 more|arXiv (Cornell University)|Dec 18, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用 10

一句话总结

本文提出了一种用于非凸与非光滑优化的不精确近端梯度方法，将现有不精确算法扩展至非凸场景，其中现有方法存在局限。该文提出基础版与加速版不精确近端梯度算法，其收敛速率与精确方法相同，已在 OSCAR、低秩矩阵补全及基于 correntropy 损失的鲁棒回归问题上得到验证。

ABSTRACT

In machine learning research, the proximal gradient methods are popular for solving various optimization problems with non-smooth regularization. Inexact proximal gradient methods are extremely important when exactly solving the proximal operator is time-consuming, or the proximal operator does not have an analytic solution. However, existing inexact proximal gradient methods only consider convex problems. The knowledge of inexact proximal gradient methods in the non-convex setting is very limited. % Moreover, for some machine learning models, there is still no proposed solver for exactly solving the proximal operator. To address this challenge, in this paper, we first propose three inexact proximal gradient algorithms, including the basic version and Nesterov's accelerated version. After that, we provide the theoretical analysis to the basic and Nesterov's accelerated versions. The theoretical results show that our inexact proximal gradient algorithms can have the same convergence rates as the ones of exact proximal gradient algorithms in the non-convex setting. Finally, we show the applications of our inexact proximal gradient algorithms on three representative non-convex learning problems. All experimental results confirm the superiority of our new inexact proximal gradient algorithms.

研究动机与目标

• 解决非凸优化场景中不精确近端梯度方法缺乏理论收敛保证的问题。
• 将不精确近端梯度算法——包括基础版本与 Nesterov 加速版本——扩展至处理非凸与非光滑问题。
• 提供理论分析，表明在非凸设置下，不精确方法可保持与精确方法相同的收敛速率。
• 在真实世界非凸学习问题中，展示所提不精确方法的优越性。
• 针对 OSCAR 和 trace Lasso 等复杂正则化设置，开发一种高效的基于次梯度的算法以计算不精确近端算子。

提出的方法

• 提出三种不精确近端梯度算法：针对非凸、非光滑问题的基础版本（IPG）与 Nesterov 加速版本（AIPG）。
• 引入一种次梯度算法（算法 4），通过求解子问题 $ Q(x; x_{k-1}) = \frac{1}{2\gamma}\|x - (x_{k-1} - \gamma\nabla g(x_{k-1}))\|^2 + h(x) $ 来计算不精确近端算子，允许误差容忍度 $ \varepsilon $。
• 利用对偶间隙计算（算法 5）来监控不精确近端步的收敛性，使用对偶函数 $ \widetilde{Q}(\alpha; x_{k-1}) $ 与最优对偶变量 $ \alpha $。
• 定义对偶间隙 $ G(x_t; x_{k-1}) = Q(x_t; x_{k-1}) - \widetilde{Q}(\alpha_t; x_{k-1}) $，以确保不精确解满足所需的误差界。
• 将不精确近端梯度方法应用于具有非光滑正则化的非凸问题，包括基于 correntropy 损失的 OSCAR、低秩矩阵补全与鲁棒回归。
• 通过理论证明表明，在不精确近端步的误差以适当速率衰减的条件下，迭代序列以与精确方法相同的速率收敛至临界点。

实验结果

研究问题

• RQ1 不精确近端梯度方法能否被扩展至非凸与非光滑优化问题，同时保持收敛性保证？
• RQ2 在非凸设置下，不精确近端梯度算法是否能保持与精确方法相同的收敛速率？
• RQ3 如何为 OSCAR 或 trace Lasso 等复杂正则化函数高效计算不精确近端算子？
• RQ4 在非凸优化中，不精确近端步的误差容忍度需满足何种条件才能确保收敛？
• RQ5 在真实世界非凸机器学习问题中，所提不精确方法相较于精确方法或现有不精确方法的实际表现如何？

主要发现

• 所提出的不精确近端梯度算法在非凸设置下实现了与精确方法相同的收敛速率，其中加速版本的收敛速率为 $ O(1/k^2) $。
• 理论分析证明：若不精确近端步的误差以适当速率衰减，则即使 $ g(x) $ 与 $ h(x) $ 为非凸，收敛速率仍可保持。
• 在基于 correntropy 损失的 OSCAR 问题上，实验表明由于每次迭代成本降低，不精确方法收敛速度优于精确方法。
• 在低秩矩阵补全任务中，不精确方法在显著缩短运行时间的同时，达到与精确求解器相当或更优的解质量。
• 在使用 correntropy 诱导损失的鲁棒回归中，不精确方法收敛至更低的目标值，展现出更强的鲁棒性与效率。
• 基于次梯度的不精确近端求解器结合对偶间隙监控，有效平衡了精度与速度，使方法可扩展至高维问题。