[论文解读] Convergence of AdaGrad for Non-convex Objectives: Simple Proofs and Relaxed Assumptions

Bohan Wang, Huishuai Zhang+2 more|arXiv (Cornell University)|May 29, 2023

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

本文在弱化假设条件下，对非凸优化中的AdaGrad提出了简化的收敛性分析，引入一种新颖的辅助函数 ξ 以解耦梯度与自适应学习率的动力学。在仿射噪声方差和有界光滑性条件下，证明了AdaGrad达到 ε-近似驻点的迭代复杂度为 O(1/ε²)，与SGD一致；并进一步将收敛性扩展至更现实的 (L₀, L₁)-光滑条件，同时确定了临界学习率阈值。

ABSTRACT

We provide a simple convergence proof for AdaGrad optimizing non-convex objectives under only affine noise variance and bounded smoothness assumptions. The proof is essentially based on a novel auxiliary function $ξ$ that helps eliminate the complexity of handling the correlation between the numerator and denominator of AdaGrad's update. Leveraging simple proofs, we are able to obtain tighter results than existing results \citep{faw2022power} and extend the analysis to several new and important cases. Specifically, for the over-parameterized regime, we show that AdaGrad needs only $\mathcal{O}(\frac{1}{\varepsilon^2})$ iterations to ensure the gradient norm smaller than $\varepsilon$, which matches the rate of SGD and significantly tighter than existing rates $\mathcal{O}(\frac{1}{\varepsilon^4})$ for AdaGrad. We then discard the bounded smoothness assumption and consider a realistic assumption on smoothness called $(L_0,L_1)$-smooth condition, which allows local smoothness to grow with the gradient norm. Again based on the auxiliary function $ξ$, we prove that AdaGrad succeeds in converging under $(L_0,L_1)$-smooth condition as long as the learning rate is lower than a threshold. Interestingly, we further show that the requirement on learning rate under the $(L_0,L_1)$-smooth condition is necessary via proof by contradiction, in contrast with the case of uniform smoothness conditions where convergence is guaranteed regardless of learning rate choices. Together, our analyses broaden the understanding of AdaGrad and demonstrate the power of the new auxiliary function in the investigations of AdaGrad.

研究动机与目标

• 简化并强化非凸目标下AdaGrad收敛性分析。
• 弱化标准的有界光滑性假设，使分析可适用于更现实的 (L₀, L₁)-光滑条件。
• 为AdaGrad建立更紧致的迭代复杂度界，使其与SGD的 O(1/ε²) 速率一致。
• 在 (L₀, L₁)-光滑性条件下，识别学习率的必要条件，表明其并非在所有情况下均收敛。
• 展示新型辅助函数 ξ 在简化自适应优化器分析中的实用性。

提出的方法

• 引入一种新颖的辅助函数 ξ，以解耦AdaGrad更新规则中分子与分母的项。
• 利用 ξ 构造一种类似李雅普诺夫函数的量，用于追踪趋近驻点的进度，而无需处理复杂的相关性。
• 应用该辅助函数，在仿射噪声方差和有界光滑性条件下证明收敛性。
• 将分析扩展至 (L₀, L₁)-光滑性情形，其中局部光滑性随梯度范数增长。
• 证明在 (L₀, L₁)-光滑性下，AdaGrad 的收敛性要求学习率低于某一临界阈值。
• 通过反证法证明在 (L₀, L₁)-光滑性下，学习率条件的必要性。

实验结果

研究问题

• RQ1 AdaGrad 的收敛性是否可在比以往工作更简单的假设下被证明？
• RQ2 在非凸设置中，AdaGrad 是否实现了与SGD相同的迭代复杂度？
• RQ3 是否可在不损失收敛性保证的前提下，将有界光滑性假设放宽至 (L₀, L₁)-光滑性？
• RQ4 在 (L₀, L₁)-光滑性下，学习率的选择是否对收敛性至关重要？
• RQ5 是否可建立统一的分析框架，以简化对自适应优化器（如AdaGrad）的研究？

主要发现

• AdaGrad 达到 ε-近似驻点的迭代复杂度为 O(1/ε²)，与SGD一致，优于以往的 O(1/ε⁴) 边界。
• 通过引入辅助函数 ξ，收敛性证明被显著简化，该函数成功解耦了梯度与自适应学习率项。
• 在 (L₀, L₁)-光滑性条件下，AdaGrad 仅当学习率低于与问题相关的阈值时才收敛。
• 在 (L₀, L₁)-光滑性下，该学习率阈值是必要的——若超过则收敛性将失败，这与有界光滑性情形不同。
• (L₀, L₁)-光滑性条件允许局部光滑性随梯度范数增长，使其在深度学习中更具现实性。
• 辅助函数 ξ 使得收敛性分析更紧致且更具普适性，充分展示了其在自适应优化理论中的强大潜力。