[论文解读] Estimate Sequences for Variance-Reduced Stochastic Composite Optimization

Andrei Kulunchakov, Julien Mairal|arXiv (Cornell University)|May 7, 2019

Stochastic Gradient Optimization Techniques被引用 20

一句话总结

本文提出了一种基于扩展估计序列（extended estimate sequences）的统一框架，用于方差减少的随机复合优化，该方法最初由 Nesterov 提出。该框架为 SAGA 和 SVRG 等方法提供了通用的收敛性证明，实现了对强凸性的自适应性，推导出在随机噪声下具有鲁棒性的算法，并提出了一种新型加速算法，其迭代复杂度为：$ O\bigl((n + \sqrt{nL_Q/\mu})\log(\cdot)\bigr) + O(\tilde{\sigma}^2/\varepsilon) $，其中 $\tilde{\sigma}^2$ 为噪声方差。

ABSTRACT

In this paper, we propose a unified view of gradient-based algorithms for stochastic convex composite optimization by extending the concept of estimate sequence introduced by Nesterov. This point of view covers the stochastic gradient descent method, variants of the approaches SAGA, SVRG, and has several advantages: (i) we provide a generic proof of convergence for the aforementioned methods; (ii) we show that this SVRG variant is adaptive to strong convexity; (iii) we naturally obtain new algorithms with the same guarantees; (iv) we derive generic strategies to make these algorithms robust to stochastic noise, which is useful when data is corrupted by small random perturbations. Finally, we show that this viewpoint is useful to obtain new accelerated algorithms in the sense of Nesterov.

研究动机与目标

• 将方差减少的随机优化方法（如 SAGA、SVRG 和 SAG）统一并推广至估计序列框架。
• 为有限和与随机设置下的广泛类随机梯度方法提供通用的收敛性证明。
• 开发对梯度估计中随机噪声具有鲁棒性的算法，尤其适用于数据受小随机扰动污染的情况。
• 在存在噪声的情况下，推导出具有改进收敛速率的新加速算法，实现对噪声方差的最优次线性依赖。
• 建立迭代复杂度界限，以分离抽样方差与内在噪声方差在随机优化中的影响。

提出的方法

• 将 Nesterov 提出的估计序列概念扩展至具有有限和与随机目标的随机复合优化。
• 采用采样策略 $ Q $ 在每次迭代中选择索引，以分析非均匀采样效应。
• 引入一种改进的估计序列，整合了噪声梯度估计，并通过 $ \tilde{\sigma}^2 $ 控制随机噪声的影响。
• 通过涉及 $ \mathbb{E}[F(x_k) - F^*] $、$ \xi_k $ 和 $ \Gamma_k $ 的递归不等式推导收敛保证，其中 $ \xi_k $ 跟踪噪声累积。
• 提出一种两阶段加速算法：第一阶段采用固定步长以实现快速初始收敛，第二阶段采用递减步长以达到 $ \varepsilon $-精度。
• 采用类似动量的更新方式，使用参数 $ \delta_k $、$ \gamma_k $ 和 $ \eta_k $，并经过仔细调整以消除递归中的误差项。

实验结果

研究问题

• RQ1 估计序列框架能否被推广，以提供对 SAGA 和 SVRG 等方差减少随机方法的统一收敛性证明？
• RQ2 如何使方差减少算法对梯度估计中的随机噪声具有鲁棒性，特别是当噪声方差 $ \tilde{\sigma}^2 $ 远小于抽样方差时？
• RQ3 估计序列方法能否用于推导在存在噪声时具有改进迭代复杂度的新加速算法？
• RQ4 在随机优化中，有限和结构与噪声鲁棒性之间的最优权衡是什么？
• RQ5 所提出的框架是否能在不预先知晓条件数的情况下，实现对强凸性的自适应收敛？

主要发现

• 所提出的框架为 SAGA、SVRG 及其相关方法在有限和与随机设置下提供了通用的收敛性证明。
• 该算法对强凸性具有自适应性，无需已知强凸性参数 $ \mu $ 即可实现线性收敛。
• 该方法在最坏情况下的迭代复杂度为 $ O\bigl((n + \frac{L_Q}{\mu})\log(\cdot)\bigr) + O(\frac{\rho_Q \tilde{\sigma}^2}{\mu \varepsilon}) $，可分离噪声与抽样效应。
• 推导出一种新的加速算法，其复杂度为 $ O\bigl((n + \sqrt{nL_Q/\mu})\log(\cdot)\bigr) + O(\frac{\rho_Q \tilde{\sigma}^2}{\mu \varepsilon}) $，与已知最优加速方法的复杂度相当。
• 该框架通过确保收敛性依赖于 $ \tilde{\sigma}^2 $（即内在噪声方差），而非总方差 $ \sigma^2 $，实现了对随机噪声的鲁棒性。
• 理论分析证实，该算法实现了最优的 $ \tilde{\sigma}^2 $ 依赖关系，表现出次线性收敛，且在噪声环境中优于标准 SGD。