[论文解读] Convergence of adaptive algorithms for weakly convex constrained optimization

Ahmet Alacaoglu, Yura Malitsky+1 more|arXiv (Cornell University)|Jun 11, 2020

Stochastic Gradient Optimization Techniques参考文献 21被引用 4

一句话总结

本文建立了AMSGrad自适应算法在弱凸约束随机优化中的收敛性，实现了对Moreau包络梯度范数的$Ó(\log T / \sqrt{T})$收敛速率——与已知的无约束情况速率一致。该分析允许使用大小为1的mini-batch、恒定的动量参数$\beta_1, \beta_2$，以及无界域，将自适应方法扩展至约束和非光滑设置。

ABSTRACT

We analyze the adaptive first order algorithm AMSGrad, for solving a constrained stochastic optimization problem with a weakly convex objective. We prove the $\mathcal{ ilde O}(t^{-1/4})$ rate of convergence for the norm of the gradient of Moreau envelope, which is the standard stationarity measure for this class of problems. It matches the known rates that adaptive algorithms enjoy for the specific case of unconstrained smooth stochastic optimization. Our analysis works with mini-batch size of $1$, constant first and second order moment parameters, and possibly unbounded optimization domains. Finally, we illustrate the applications and extensions of our results to specific problems and algorithms.

研究动机与目标

• 为约束和弱凸随机优化中自适应算法的理论理解提供填补空白。
• 将AMSGrad的收敛性保证从无约束光滑问题扩展至具有非光滑目标函数和非平凡约束的设置。
• 在实际假设下分析AMSGrad：支持大小为1的mini-batch、恒定的$\beta_1, \beta_2$，以及无界域。
• 为Moreau包络梯度范数建立收敛速率，该量是弱凸优化中标准的平稳性度量。
• 为在实际约束非凸问题（如鲁棒学习和稀疏优化）中使用自适应方法（如AMSGrad）提供理论基础。

提出的方法

• 使用Moreau包络作为平滑技术，以定义弱凸问题中的平稳性。
• 将Davis和Drusvyatskiy（2020）针对约束弱凸随机优化的分析框架进行适配。
• 应用一种新颖的不等式链，利用自适应步长和动量来有界地控制Moreau包络梯度范数的期望。
• 通过$\hat{v}_t$引入加权范数框架，以处理自适应方法中的非均匀曲率。
• 采用恒定的$\bar{\rho} = 2\rho$将Moreau包络梯度与梯度映射关联，从而实现速率推导。
• 利用近端算子的非扩张性与三角不等式，控制收敛界中的误差项。

实验结果

研究问题

• RQ1 在实际超参数下，AMSGrad能否在弱凸约束随机优化中实现收敛？
• RQ2 在约束设置下，AMSGrad的收敛速率是否与无约束光滑随机优化的速率一致？
• RQ3 该分析能否支持实际中常用的大小为1的mini-batch及恒定的$\beta_1, \beta_2$参数？
• RQ4 在自适应算法下，Moreau包络梯度范数是否为弱凸约束问题的合理且紧致的平稳性度量？
• RQ5 该分析如何处理自适应优化中无界域和非光滑目标函数的情形？

主要发现

• AMSGrad在弱凸约束优化中实现了对Moreau包络梯度范数的$\tilde{\mathcal{O}}(\log T / \sqrt{T})$收敛速率。
• 该速率与无约束光滑随机优化的最佳已知速率一致，证实了自适应方法在约束设置下的鲁棒性。
• 该分析适用于大小为1的mini-batch、恒定的$\beta_1$和$\beta_2$，以及无界域，与实际训练设置一致。
• 该结果可推广至约束$L$-光滑问题及RMSprop的一种变体，显示出广泛适用性。
• 关键技术贡献是通过加权范数和利普希茨连续性，建立了梯度映射与Moreau包络梯度之间的有界关系。
• 证明建立了$\|\mathcal{G}_{1/\bar{\rho}}(x_t)\| \leq \|\nabla \varphi^{t}_{1/\bar{\rho}}(x_t)\|_{\hat{v}_t^{-1/2}} + \bar{\rho} \|w\|_{\hat{v}_t^{1/2}}$，从而支持速率推导。