[论文解读] Convergence Analysis of Proximal Gradient with Momentum for Nonconvex Optimization

Qunwei Li, Yi Zhou+2 more|arXiv (Cornell University)|May 14, 2017

Sparse and Compressive Sensing Techniques参考文献 11被引用 37

一句话总结

本文首次在Kurdyka-Łojasiewicz（KŁ）性质下对非凸优化的加速近端梯度法（APGnc）进行了严格的收敛性分析，证明APGnc收敛至临界点，并实现线性或次线性收敛速率。此外，本文提出了具有自适应动量的APGnc+，并建立了随机方差缩减变体（SVRG-APGnc）的线性收敛性，表明其在效率和鲁棒性上优于现有方法（如mAPG）。

ABSTRACT

In many modern machine learning applications, structures of underlying mathematical models often yield nonconvex optimization problems. Due to the intractability of nonconvexity, there is a rising need to develop efficient methods for solving general nonconvex problems with certain performance guarantee. In this work, we investigate the accelerated proximal gradient method for nonconvex programming (APGnc). The method compares between a usual proximal gradient step and a linear extrapolation step, and accepts the one that has a lower function value to achieve a monotonic decrease. In specific, under a general nonsmooth and nonconvex setting, we provide a rigorous argument to show that the limit points of the sequence generated by APGnc are critical points of the objective function. Then, by exploiting the Kurdyka-Łojasiewicz (\KL) property for a broad class of functions, we establish the linear and sub-linear convergence rates of the function value sequence generated by APGnc. We further propose a stochastic variance reduced APGnc (SVRG-APGnc), and establish its linear convergence under a special case of the \KL property. We also extend the analysis to the inexact version of these methods and develop an adaptive momentum strategy that improves the numerical performance.

研究动机与目标

• 在以往分析缺乏收敛速率结果的非凸设置下，为APGnc算法建立理论收敛保证。
• 比较APGnc与mAPG在收敛速率与计算效率方面的表现，证明APGnc在实际应用中的优势。
• 将分析扩展至APGnc的近似版本与随机方差缩减版本，确保在数值误差与采样噪声下的鲁棒性。
• 提出具有自适应动量的APGnc+，以提升数值性能，同时保持理论收敛性。
• 开发新颖的技术工具，用于在存在近似性与随机性的情况下，有效利用KŁ性质于加速一阶方法中。

提出的方法

• APGnc算法根据目标函数值下降情况，在标准近端梯度步与线性外推步之间进行单调选择，确保函数值下降。
• 收敛性分析利用Kurdyka-Łojasiewicz（KŁ）性质，为函数值序列建立次线性与线性收敛速率。
• 提出APGnc的近似版本，其中近端步长以有界误差计算，且在KŁ假设下证明了收敛性。
• 引入一种随机方差缩减变体SVRG-APGnc，通过小批量梯度降低方差，提升大规模设置下的收敛性能。
• APGnc+引入一种自适应动量策略，动态调整外推参数以增强数值表现。
• 开发了新颖的技术处理方法，以应对加速、非凸性与近似性在KŁ框架下的联合影响。

实验结果

研究问题

• RQ1 APGnc算法在一般非光滑与非凸问题下是否收敛至临界点？
• RQ2 在Kurdyka-Łojasiewicz（KŁ）性质下，APGnc的收敛速率如何？
• RQ3 APGnc在收敛速率与计算成本方面与mAPG相比表现如何？
• RQ4 KŁ性质能否在加速近端梯度方法的近似与随机变体中被有效利用？
• RQ5 APGnc+中的自适应动量策略是否在不牺牲理论收敛保证的前提下提升了数值性能？

主要发现

• 在一般非光滑与非凸设置下，APGnc收敛至目标函数的临界点，且此前无此类收敛性保证。
• 在KŁ性质下，APGnc在一般情况下实现次线性收敛速率，而在KŁ性质的特殊情况下实现线性收敛速率。
• 所提出的APGnc+在数值实验中优于APGnc与mAPG，尤其在近似性与随机设置下表现更优。
• SVRG-APGnc在KŁ性质下实现线性收敛，表明方差缩减在非凸加速方法中的有效性。
• 近似APGnc与SVRG-APGnc变体对近端误差保持鲁棒性，收敛至与精确版本相似的解。
• 随机算法对误差更敏感，但APGnc+在中等程度近似性下仍保持优越性能。