[论文解读] High-Probability Convergence for Composite and Distributed Stochastic Minimization and Variational Inequalities with Heavy-Tailed Noise

Eduard Gorbunov, Abdurakhmon Sadiev+6 more|arXiv (Cornell University)|Oct 3, 2023

Stochastic Gradient Optimization TechniquesComputer Science被引用 3

一句话总结

该论文提出了一种新颖的随机优化方法，用于处理具有重尾噪声的复合与分布式问题，通过梯度差值裁剪实现紧密的高概率收敛保证。该方法建立了近乎最优的收敛速率，包括强凸问题的线性收敛，解决了先前工作在重尾噪声下无法处理复合或分布式设置的局限性。

ABSTRACT

High-probability analysis of stochastic first-order optimization methods under mild assumptions on the noise has been gaining a lot of attention in recent years. Typically, gradient clipping is one of the key algorithmic ingredients to derive good high-probability guarantees when the noise is heavy-tailed. However, if implemented naïvely, clipping can spoil the convergence of the popular methods for composite and distributed optimization (Prox-SGD/Parallel SGD) even in the absence of any noise. Due to this reason, many works on high-probability analysis consider only unconstrained non-distributed problems, and the existing results for composite/distributed problems do not include some important special cases (like strongly convex problems) and are not optimal. To address this issue, we propose new stochastic methods for composite and distributed optimization based on the clipping of stochastic gradient differences and prove tight high-probability convergence results (including nearly optimal ones) for the new methods. Using similar ideas, we also develop new methods for composite and distributed variational inequalities and analyze the high-probability convergence of these methods.

研究动机与目标

• 解决在重尾噪声下复合与分布式随机优化缺乏高概率收敛分析的问题。
• 克服标准梯度裁剪在近端与分布式方法中即使无噪声也失效的问题。
• 开发新算法，实现在重尾噪声存在下具有高概率的加速与线性收敛速率。
• 将分析扩展至类似噪声条件下具有约束与复合结构的复合与分布式变分不等式问题。

提出的方法

• 提出一种基于随机梯度差值而非原始梯度的新裁剪机制，以在复合与分布式设置中稳定收敛。
• 引入 Prox-clipped-SGD 与 Prox-clipped-SGD-shift 变体，通过自适应裁剪梯度差值，确保在重尾噪声下保持收敛。
• 采用基于浓度不等式与事件分解的高概率分析框架，以控制偏差概率。
• 通过裁剪与步长调度控制梯度差值的增长，推导出紧密的复杂度边界。
• 将该方法应用于最小化与变分不等式问题，扩展至分布式与复合形式。
• 采用递归事件分析方法，证明即使在重尾噪声下，迭代序列也能以高概率收敛至最优解。

实验结果

研究问题

• RQ1 梯度差值裁剪是否能在重尾噪声下实现复合与分布式随机优化的高概率收敛？
• RQ2 为何标准梯度裁剪方法在近端与分布式设置中即使在无噪声情况下也会失效？
• RQ3 能否通过新型裁剪策略在重尾噪声下实现强凸问题的近乎最优收敛速率（包括线性收敛）？
• RQ4 所提方法能否扩展至具有约束与复合结构的变分不等式问题？
• RQ5 在高概率环境下，裁剪水平、步长与收敛速率之间的最优权衡是什么？

主要发现

• 所提出的 Prox-clipped-SGD 与 Prox-clipped-SGD-shift 方法在重尾噪声下，对复合与分布式问题实现了高概率收敛，且收敛速率近乎最优。
• 该方法确保了强凸问题的线性收敛，以高概率实现，克服了先前方法的局限性。
• 分析表明，以至少 1−β 的概率，迭代序列满足 ∥xK+1−x∗∥2≤O(Vexp(−Kln²(nK)/β))，对问题参数具有近乎最优的依赖关系。
• 对于强凸情形，该方法以高概率实现了 O(exp(−μK/L)) 的收敛速率，与最优期望值速率一致。
• 达到 ε-精度的复杂度边界为 K=O(max(L/√nμ, L/μ ln(V/ε), (σ²/μ²ε)^(α/(2(α−1))) ln(n/β)))，仅在对数因子范围内为紧致边界。
• 数值实验表明，梯度差值裁剪优于朴素梯度裁剪，尤其在小裁剪水平下表现更优，能实现更快的收敛与更高精度。