[论文解读] Adaptive First-and Zeroth-order Methods for Weakly Convex Stochastic Optimization Problems

Parvin Nazari, Davoud Ataee Tarzanagh+1 more|arXiv (Cornell University)|May 19, 2020

Stochastic Gradient Optimization Techniques参考文献 47被引用 8

一句话总结

本文提出了一种用于弱凸随机优化的自适应一阶和零阶方法（Fema 和 Zema），通过利用梯度和次梯度的指数移动平均，实现向一阶驻点的收敛。主要贡献在于为非光滑和非凸问题建立了非渐近收敛速率，而此前的自适应方法缺乏理论保证。

ABSTRACT

In this paper, we design and analyze a new family of adaptive subgradient methods for solving an important class of weakly convex (possibly nonsmooth) stochastic optimization problems. Adaptive methods that use exponential moving averages of past gradients to update search directions and learning rates have recently attracted a lot of attention for solving optimization problems that arise in machine learning. Nevertheless, their convergence analysis almost exclusively requires smoothness and/or convexity of the objective function. In contrast, we establish non-asymptotic rates of convergence of first and zeroth-order adaptive methods and their proximal variants for a reasonably broad class of nonsmooth \& nonconvex optimization problems. Experimental results indicate how the proposed algorithms empirically outperform stochastic gradient descent and its zeroth-order variant for solving such optimization problems.

研究动机与目标

• 解决在非光滑和非凸随机优化设置下，Adam 和 RMSProp 等自适应方法缺乏理论收敛保证的问题。
• 将自适应优化扩展至弱凸目标函数，这类目标在机器学习中很常见，但常被现有分析所排除。
• 设计一种零阶变体（Zema），用于在无法获取次梯度时的无梯度优化，从而适用于黑箱系统。
• 利用 Moreau 包络作为驻点度量，进行收敛性分析，该方法通过正则化使弱凸函数更稳定，便于优化。
• 通过实验证明，Fema 和 Zema 在鲁棒相位恢复和神经网络训练任务中，优于标准 SGD 及其零阶对应方法。

提出的方法

• 提出 Fema，一种使用历史梯度和次梯度指数移动平均（EMA）的自适应一阶方法，以动态调整学习率。
• 将缩放后的 Moreau 包络定义为弱凸函数的驻点度量，通过平滑化实现收敛性分析。
• 提出 Zema，一种零阶变体，通过函数值差分近似梯度，适用于黑箱优化。
• 通过 Moreau 包络引入近端更新，以处理弱凸问题中的非光滑正则化项和约束。
• 采用依赖于梯度和次梯度平方值 EMA 的自适应步长规则，参数通过调节控制收敛速度。
• 在期望的 Moreau 正则化梯度平方范数意义下，建立收敛速率，证明在温和条件下收敛速率为 O(1/√T)。

实验结果

研究问题

• RQ1 自适应一阶方法能否在弱凸且非光滑的随机优化问题中收敛至一阶驻点？
• RQ2 当目标函数为非凸且非光滑时，基于 EMA 的自适应方法可建立何种理论保证？
• RQ3 在缺乏梯度信息的情况下，零阶自适应方法在弱凸目标上的表现如何，特别是对于此类问题？
• RQ4 Moreau 包络能否作为非光滑设置下自适应方法收敛性分析的代理指标？
• RQ5 Fema 和 Zema 等自适应方法在真实世界非凸优化任务中，是否在实证上优于标准 SGD 及其零阶变体？

主要发现

• Fema 在弱凸随机问题中实现了 O(1/√T) 的非渐近收敛速率，且该速率明确依赖于自适应矩参数。
• Zema 在零阶设置中实现了 O(d²/√T) 的收敛速率，证明了其在无梯度优化弱凸目标上的有效性。
• 在鲁棒相位恢复任务中，实证结果表明 Fema 和 Zema 在减少最优性差距方面优于 SGD 和 Z-SGD，尤其在高维数据下表现更优。
• 在 CIFAR-10 和 CIFAR-100 上，Fema3 达到了最先进的测试误差：CIFAR-10 为 5.51%，CIFAR-100 为 25.02%，优于标准 SGD 和其他自适应基线方法。
• Fema3 的默认参数设置（α=1e-3, β₁=0.9, β₂=0.999）在无需超参数调优的情况下即取得最佳性能，凸显其自适应能力。
• 收敛性分析适用于广泛的弱凸问题类别，包括具有非光滑和非凸损失函数的问题，扩展了以往要求光滑性的结果。