[论文解读] A Unified Convergence Theorem for Stochastic Optimization Methods

Xiao Li, Andre Milzarek|arXiv (Cornell University)|Jun 8, 2022

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

本文提出了一种适用于随机优化方法的统一收敛定理，该定理在一般条件下同时建立了期望收敛和几乎 surely 收敛，从而实现了对多种算法的插件式分析。该框架在非光滑非凸设置下恢复并扩展了SGD、RR、prox-SGD以及基于模型的方法的收敛结果，且仅需最少的问题特定推导。

ABSTRACT

In this work, we provide a fundamental unified convergence theorem used for deriving expected and almost sure convergence results for a series of stochastic optimization methods. Our unified theorem only requires to verify several representative conditions and is not tailored to any specific algorithm. As a direct application, we recover expected and almost sure convergence results of the stochastic gradient method (SGD) and random reshuffling (RR) under more general settings. Moreover, we establish new expected and almost sure convergence results for the stochastic proximal gradient method (prox-SGD) and stochastic model-based methods (SMM) for nonsmooth nonconvex optimization problems. These applications reveal that our unified theorem provides a plugin-type convergence analysis and strong convergence guarantees for a wide class of stochastic optimization methods.

研究动机与目标

• 开发一种适用于多种随机优化方法的通用收敛框架，无需针对具体算法进行推导。
• 弥合非渐近迭代复杂度与渐近收敛之间的差距，特别是针对期望收敛与几乎 surely 收敛。
• 提供一个单一的理论工具，在最小且具代表性的条件下，同时为随机方法提供期望收敛与几乎 surely 收敛保证。
• 将收敛分析扩展至具有挑战性的场景，如非光滑与非凸优化，包括近端方法与基于模型的方法。
• 在统一的理论框架下，整合并推广SGD、随机重排（RR）以及随机模型基方法的现有收敛结果。

提出的方法

• 提出一个统一的收敛定理，仅需验证适用于各类随机优化方法的一组少量抽象且具代表性的条件。
• 通过检查标准假设（如方差有界、梯度的Lipschitz连续性以及步长的可 summability 性）来应用该定理推导收敛结果。
• 利用鞅收敛理论与几乎 surely 收敛论证，建立迭代序列路径收敛至驻点的结果。
• 通过引入次微分与近端算子结构，将该框架应用于随机近端梯度方法。
• 通过将基于模型的下降步骤视为具有可控误差的随机逼近，将分析扩展至基于模型的方法。
• 采用归纳法与递归分析验证病态示例中的收敛性，表明仅依赖迭代复杂度分析不足以涵盖渐近收敛。

实验结果

研究问题

• RQ1 能否通过单一理论框架统一分析包括SGD、RR、prox-SGD及基于模型方法在内的多种随机优化方法的收敛性？
• RQ2 在何种最小且通用的条件下，可为随机优化算法同时建立期望收敛与几乎 surely 收敛？
• RQ3 该统一框架是否可在比以往更广泛的假设下恢复SGD与RR的已知收敛结果？
• RQ4 该框架是否可在非光滑非凸设置下为prox-SGD与基于模型的方法建立新的收敛保证？
• RQ5 在实际评估收敛性时，仅依赖迭代复杂度界存在哪些局限性？

主要发现

• 统一收敛定理使得在最小且与算法无关的条件下，对一大类随机优化方法实现期望收敛与几乎 surely 收敛分析成为可能。
• 该框架在比以往更广泛的假设下，恢复并推广了SGD与随机重排（RR）的现有收敛结果。
• 在非光滑非凸问题中，为随机近端梯度方法建立了新的期望收敛与几乎 surely 收敛结果。
• 该框架还为非光滑非凸优化中的随机模型基方法提供了收敛保证，扩展了先前的理论。
• 一个病态示例表明，迭代复杂度界并不蕴含渐近收敛，凸显了几乎 surely 收敛分析的必要性。
• 分析表明，即使在满足标准条件的递减步长下，梯度范数也可能不收敛至零，强调了渐近收敛结果的重要性。