[论文解读] Local Convergence Properties of SAGA/Prox-SVRG and Acceleration

Clarice Poon, Jingwei Liang+1 more|arXiv (Cornell University)|Feb 7, 2018

Sparse and Compressive Sensing Techniques参考文献 3被引用 10

一句话总结

本文在部分光滑性条件下建立了 SAGA 和 Prox-SVRG 算法的局部线性收敛性，展示了有限时间内的流形识别以及通过高阶方法实现的超线性加速。本文为应用于结构化非光滑优化问题的近端方差缩减随机梯度方法提供了一个统一的局部收敛框架。

ABSTRACT

Over the past ten years, driven by large scale optimisation problems arising from machine learning, the development of stochastic optimisation methods have witnessed a tremendous growth. However, despite their popularity, the theoretical understandings of these methods are quite limited in contrast to the deterministic optimisation methods. In this paper, we present a local convergence analysis for a typical type of stochastic optimisation methods: proximal variance reduced stochastic gradient methods, and mainly focus on the SAGA [12] and Prox-SVRG [43] algorithms. Under the assumption that the non-smooth component of the optimisation problem is partly smooth relative to a smooth manifold, we present a unified framework for the local convergence analysis of the SAGA/Prox-SVRG algorithms: (i) the sequences generated by the SAGA/Prox-SVRG are able to identify the smooth manifold in a finite number of iterations; (ii) then the sequence enters a local linear convergence regime. Beyond local convergence analysis, we also discuss various possibilities for accelerating these algorithms, including adapting to better local parameters, and applying higher-order deterministic/stochastic optimisation methods which can achieve super-linear convergence. Concrete examples arising from machine learning are considered to verify the obtained results.

研究动机与目标

• 为尽管在机器学习中广泛应用但其理论理解仍有限的随机优化方法提供理论支持。
• 分析 SAGA 和 Prox-SVRG 在具有有限和结构的非光滑、结构化优化问题中的局部收敛行为。
• 建立这些算法在有限次迭代内识别出底层低维流形的条件，并在之后实现线性收敛。
• 探索通过自适应参数调节和高阶方法实现的加速策略，以改善局部收敛速率。

提出的方法

• 分析基于部分光滑性的概念，即在解处，非光滑正则化项相对于流形是光滑的。
• 提出一个统一框架，用于研究在该假设下 SAGA/Prox-SVRG 的流形识别与局部线性收敛性。
• 该方法利用近端方差缩减梯度更新的结构，并分析迭代点在解流形附近的演化行为。
• 通过在流形的切空间上对梯度动力学进行线性化，结合投影算子与 Hessian 近似，建立局部收敛性。
• 通过自适应步长和应用能实现超线性收敛的高阶确定性/随机方法，探索加速策略。
• 在具体的机器学习示例（包括 LASSO 及其他具有非光滑正则化的有限和问题）上验证理论结果。

实验结果

研究问题

• RQ1 在何种条件下，SAGA 和 Prox-SVRG 能在有限次迭代内识别出解的低维流形？
• RQ2 在识别出解流形后，SAGA/Prox-SVRG 的局部收敛速率是多少？
• RQ3 能否通过自适应参数选择或高阶方法改善局部收敛速率？
• RQ4 正则化项的部分光滑性如何影响随机近端方法的收敛行为？
• RQ5 Hessian 矩阵与切空间投影在刻画局部收敛动力学中起什么作用？

主要发现

• 在部分光滑性假设下，SAGA 和 Prox-SVRG 能在有限次迭代内识别出解的光滑流形。
• 在流形识别之后，迭代点进入局部线性收敛阶段，收敛速率由 Hessian 矩阵与邻近算子结构决定。
• 收敛速率由流形切空间上线性化更新算子的谱性质决定。
• 自适应步长选择与高阶方法可实现超线性局部收敛，优于标准的线性收敛速率。
• 理论分析证实，迭代点以速率 $ \mathcal{O}(\|x_k - x^*\|) $ 局部收敛，且通过投影与 Hessian 近似控制误差项。
• 具体示例（包括 LASSO）验证了理论发现，展示了实际中有限时间流形识别与线性收敛。