[论文解读] AI-SARAH: Adaptive and Implicit Stochastic Recursive Gradient Methods

Zheng Shi, Abdurakhmon Sadiev+3 more|arXiv (Cornell University)|Feb 19, 2021

Stochastic Gradient Optimization Techniques参考文献 34被引用 4

一句话总结

本文提出 AI-SARAH，一种完全自适应且无需调参的随机递归梯度方法，通过基于局部几何结构隐式调整步长，提升凸有限和优化问题的收敛性能。该方法动态估计局部利普希茨光滑性，在无需超参数调优的情况下，优于经典及最先进的一阶方法，并提供了基于直观设计原则的理论收敛保证。

ABSTRACT

We present AI-SARAH, a practical variant of SARAH. As a variant of SARAH, this algorithm employs the stochastic recursive gradient yet adjusts step-size based on local geometry. AI-SARAH implicitly computes step-size and efficiently estimates local Lipschitz smoothness of stochastic functions. It is fully adaptive, tune-free, straightforward to implement, and computationally efficient. We provide technical insight and intuitive illustrations on its design and convergence. We conduct extensive empirical analysis and demonstrate its strong performance compared with its classical counterparts and other state-of-the-art first-order methods in solving convex machine learning problems.

研究动机与目标

• 开发一种实用的、完全自适应的 SARAH 变体，消除手动调整超参数的需求。
• 通过隐式估计随机函数的局部利普希茨光滑性，实现自动步长自适应。
• 在不依赖问题参数先验知识的前提下，提升凸有限和优化问题的收敛性能。
• 基于局部几何与递归梯度估计，提供理论收敛分析。
• 通过实验验证其在 tuned 的经典方法与最先进一阶方法中的优越性能。

提出的方法

• AI-SARAH 采用与 SARAH 类似的随机递归梯度估计器，使用递归更新：$ v_t = \nabla f_i(w_t) - \nabla f_i(w_{t-1}) + v_{t-1} $。
• 它根据局部曲率动态调整步长 $ \alpha_t $，隐式估计局部利普希茨常数 $ L_k^{\max} $。
• 该算法在内外循环中运行，每个外循环开始时 $ v_0 = \nabla P(w_{k-1}) $。
• 它使用一个工作集 $ \mathcal{W}_k $，定义为 $ \|\tilde{w}_{k-1} - w\| \leq m \cdot \alpha_{\max}^k \|v_0\| $，以限制迭代点并确保稳定性。
• 理论分析表明，收敛性通过梯度范数衰减的递推界 $ \mathbb{E}[\|\nabla P(\tilde{w}_k)\|^2] \leq \sigma_m^k \mathbb{E}[\|\nabla P(\tilde{w}_{k-1})\|^2] $ 得到保证，其中 $ \sigma_m^k $ 依赖于步长与光滑性。
• 该方法完全自适应，无需手动调整学习率或其他超参数。

实验结果

研究问题

• RQ1 能否通过隐式估计局部光滑性而不显式调参，使随机递归梯度方法实现完全自适应？
• RQ2 基于局部几何的隐式步长自适应在凸有限和问题中的收敛速度与稳定性方面有何影响？
• RQ3 AI-SARAH 是否能在不进行任何超参数调整的情况下，实现与调优后一阶方法相当的性能？
• RQ4 在局部光滑性假设下，递归梯度方法中自适应步长的理论保证可建立为何种形式？
• RQ5 工作集 $ \mathcal{W}_k $ 如何促进算法的稳定性和收敛性？

主要发现

• AI-SARAH 在无需任何超参数调优的情况下，于多个数据集上均表现出具有竞争力的性能，优于依赖精细调参的 SARAH、SARAH+ 及其他最先进方法。
• 在凸性与光滑性的标准假设下，该算法的收敛性得到保证，理论边界通过梯度范数衰减的递推关系推导得出。
• 实验结果表明，即使在其他方法经过 5,000 次超参数搜索优化后，AI-SARAH 仍表现出一致的优越性能。
• 对局部利普希茨光滑性的隐式估计使有效步长自适应成为可能，从而在无需显式输入光滑性参数的情况下提升收敛性能。
• 工作集 $ \mathcal{W}_k $ 确保迭代点保持在有界区域内，支持理论上的稳定性和收敛性。
• 该方法计算高效，实现简单，且完全自适应——在实际应用中无需任何调优工作。