[论文解读] Estimate Sequences for Stochastic Composite Optimization: Variance Reduction, Acceleration, and Robustness to Noise

Andrei Kulunchakov, Julien Mairal|arXiv (Cornell University)|Jan 25, 2019

Stochastic Gradient Optimization Techniques参考文献 53被引用 26

一句话总结

本文提出了一种基于估计序列的随机复合优化统一框架，将Nesterov的方法扩展至SAGA、SVRG和MISO等方差缩减方法的统一与分析。该框架提供了通用的收敛性证明，推导出新型鲁棒算法，并提出一种新型加速SVRG变体，在随机噪声下仍保持线性收敛，显著提升了噪声环境下的稳定性与性能。

ABSTRACT

In this paper, we propose a unified view of gradient-based algorithms for stochastic convex composite optimization by extending the concept of estimate sequence introduced by Nesterov. More precisely, we interpret a large class of stochastic optimization methods as procedures that iteratively minimize a surrogate of the objective, which covers the stochastic gradient descent method and variants of the incremental approaches SAGA, SVRG, and MISO/Finito/SDCA. This point of view has several advantages: (i) we provide a simple generic proof of convergence for all of the aforementioned methods; (ii) we naturally obtain new algorithms with the same guarantees; (iii) we derive generic strategies to make these algorithms robust to stochastic noise, which is useful when data is corrupted by small random perturbations. Finally, we propose a new accelerated stochastic gradient descent algorithm and an accelerated SVRG algorithm with optimal complexity that is robust to stochastic noise.

研究动机与目标

• 将SAGA、SVRG和MISO等现有随机优化方法统一并推广至单一理论框架下。
• 为一大类随机梯度方法提供通用且简洁的收敛性证明。
• 设计具有相同收敛保证的新算法，同时增强对梯度估计中随机噪声的鲁棒性。
• 设计一种新型加速随机梯度方法，以及一种对噪声鲁棒的加速SVRG算法，以提升稳定性和收敛速率。

提出的方法

• 将Nesterov的估计序列概念扩展至随机复合优化，将算法视为迭代最小化一个代理目标函数。
• 使用一个代理函数，结合光滑部分f的二次逼近与非光滑部分ψ的近端项。
• 提出一种通用算法模板，其中每次迭代通过使用方差缩减的随机梯度来更新估计序列。
• 采用两阶段策略：初始固定步长阶段，随后进入自适应加速阶段，参数调优以平衡收敛速度与抗噪声能力。
• 引入一种新型加速机制，结合自适应步长与动量项，实现在噪声环境下的更快收敛。
• 通过估计序列的性质与基于噪声感知的参数调优实现方差控制，推导出期望次优性上界。

实验结果

研究问题

• RQ1 能否构建一个统一的理论框架，用于分析和推广随机复合优化中的方差缩减方法？
• RQ2 估计序列如何被调整以处理带有噪声的梯度估计，同时保持收敛性保证？
• RQ3 在SVRG类方法中，实现加速与对随机噪声的鲁棒性，所需的最小算法修改是什么？
• RQ4 能否设计一种新型加速随机梯度方法，使其在梯度受噪声污染时仍保持线性收敛？

主要发现

• 所提出的框架通过统一的估计序列方法，为SAGA、SVRG、MISO及相关方法提供了通用且简洁的收敛性证明。
• 该方法自然生成具有相同收敛保证的新算法，支持系统化的算法设计。
• 推导出一种新型加速SVRG算法，即使在梯度受随机噪声污染时，仍能保持线性收敛。
• 新型加速SGD与SVRG变体在噪声鲁棒性方面表现更优，其收敛速率依赖于噪声方差与问题条件数。
• 理论分析表明，在适当参数调优下，该算法在期望意义下可达到O(1/k²)的收敛速率，即使在存在噪声的情况下亦成立。
• 该框架支持两阶段优化策略：先进行固定步长阶段，随后进入自适应加速阶段，从而获得更优的迭代复杂度界。