[论文解读] Proximal Gradient Method with Extrapolation and Line Search for a Class of Nonconvex and Nonsmooth Problems

Lei Yang|arXiv (Cornell University)|Nov 18, 2017

Sparse and Compressive Sensing Techniques参考文献 48被引用 9

一句话总结

该论文提出PGels，一种用于非凸、非光滑及非Lipschitz优化问题的近端梯度方法，结合自适应外推与非单调线搜索。通过利用一种特殊的势函数，PGels将外推与线搜索相结合以提升收敛性，确保全局渐近收敛至驻点，并在Kurdyka-Łojasiewicz条件下建立局部线性收敛性。

ABSTRACT

In this paper, we consider a class of possibly nonconvex, nonsmooth and non-Lipschitz optimization problems arising in many contemporary applications such as machine learning, variable selection and image processing. To solve this class of problems, we propose a proximal gradient method with extrapolation and line search (PGels). This method is developed based on a special potential function and successfully incorporates both extrapolation and non-monotone line search, which are two simple and efficient accelerating techniques for the proximal gradient method. Thanks to the line search, this method allows more flexibilities in choosing the extrapolation parameters and updates them adaptively at each iteration if a certain line search criterion is not satisfied. Moreover, with proper choices of parameters, our PGels reduces to many existing algorithms. We also show that, under some mild conditions, our line search criterion is well defined and any cluster point of the sequence generated by PGels is a stationary point of our problem. In addition, by assuming the Kurdyka-$Ł$ojasiewicz exponent of the objective in our problem, we further analyze the local convergence rate of two special cases of PGels, including the widely used non-monotone proximal gradient method as one case. Finally, we conduct some numerical experiments for solving the $\ell_1$ regularized logistic regression problem and the $\ell_{1 ext{-}2}$ regularized least squares problem. Our numerical results illustrate the efficiency of PGels and show the potential advantage of combining two accelerating techniques.

研究动机与目标

• 解决标准近端梯度方法在求解非凸、非光滑及非Lipschitz复合优化问题时收敛缓慢的问题。
• 将两种加速技术——外推与非单调线搜索——整合进统一框架，以提升收敛速度与鲁棒性。
• 在较弱假设下（如目标函数有界性和连续性）确保全局收敛至驻点。
• 在Kurdyka-Łojasiewicz（KL）条件下分析特殊情形（如非单调近端梯度方法）的局部收敛速率。
• 通过在$ε_{1}$-正则化逻辑回归与$ε_{1-2}$-正则化最小二乘问题上的数值实验，展示结合两种加速技术的实际优势。

提出的方法

• 提出一种新算法PGels，通过特殊势函数在近端梯度框架内结合外推与非单调线搜索。
• 当充分下降条件不满足时，采用线搜索准则自适应更新每一步的外推参数。
• 通过近端子问题定义更新步长：$\bm{x}^{k+1} \in \mathop{\mathrm{Argmin}}_{\bm{x}} \left\{ \langle \nabla f(\bm{y}^k), \bm{x} \rangle + \frac{\mu}{2} \|\bm{x} - \bm{y}^k\|^2 + P(\bm{x}) \right\}$，其中$\bm{y}^k = \bm{x}^k + \beta_k(\bm{x}^k - \bm{x}^{k-1})$。
• 在较弱条件下确保线搜索准则定义良好，从而实现对外推参数的自适应调节。
• 通过证明PGels生成的序列有界且所有聚点均为问题的驻点，建立全局渐近收敛性。
• 在Kurdyka-Łojasiewicz（KL）性质下分析局部收敛速率，表明在两种特殊情形（包括非单调近端梯度方法）下实现局部线性收敛。

实验结果

研究问题

• RQ1 结合外推与非单调线搜索的近端梯度方法能否在非凸、非光滑及非Lipschitz问题上实现全局收敛？
• RQ2 PG框架中自适应线搜索机制如何影响外推参数的选择与更新？
• RQ3 在何种条件下，PGels中的线搜索准则定义良好且计算可行？
• RQ4 在Kurdyka-Łojasiewicz（KL）性质下，PGels的局部收敛速率如何？与现有方法相比有何差异？
• RQ5 结合外推与非单调线搜索是否能带来优于单一加速技术的实验性能？

主要发现

• PGels所采用的线搜索准则在较弱假设下定义良好，确保算法可实施且不会失败。
• PGels生成序列的任意聚点均为复合优化问题（1.1）的驻点，从而确立了全局渐近收敛性。
• 对于两种特殊情况——$δ=0$（即NPG）与非单调近端梯度方法——在KL性质下且指数$\theta \in (0, 1/2]$时，可实现局部线性收敛。
• 在$\ell_1$-正则化逻辑回归与$\ell_{1-2}$-正则化最小二乘问题上的数值实验表明，PGels优于$\mathrm{pDCA}_e$，且与nmAPG相当，验证了结合两种加速技术的优势。
• 非单调线搜索提高了外推参数选择的灵活性并增强了鲁棒性，实验显示PGels始终优于NPG。
• 在特定参数取值下，所提方法可退化为若干知名算法（如PG、PGe、NPG），验证了其通用性与灵活性。