[论文解读] Convergence of Online Adaptive and Recurrent Optimization Algorithms

Pierre-Yves Massé, Yann Ollivier|arXiv (Cornell University)|May 12, 2020

Stochastic Gradient Optimization Techniques被引用 3

一句话总结

本文通过基于经验时间平均而非概率假设的统一框架，建立了在线自适应与递归优化算法（如 RTRL、NoBackTrack、UORO、RMSProp 和 Adam 且 β₂→1）的局部收敛性。核心贡献是在温和的正则性和稳定性条件下，提出一个通用收敛定理，证明当梯度在有限循环数据集上平均时，这些算法可实现局部收敛，从而允许比标准 SGD 更大的学习率。

ABSTRACT

We prove local convergence of several notable gradient descent algorithms used in machine learning, for which standard stochastic gradient descent theory does not apply directly. This includes, first, online algorithms for recurrent models and dynamical systems, such as \emph{Real-time recurrent learning} (RTRL) and its computationally lighter approximations NoBackTrack and UORO; second, several adaptive algorithms such as RMSProp, online natural gradient, and Adam with $\beta^2 o 1$.Despite local convergence being a relatively weak requirement for a new optimization algorithm, no local analysis was available for these algorithms, as far as we knew. Analysis of these algorithms does not immediately follow from standard stochastic gradient (SGD) theory. In fact, Adam has been proved to lack local convergence in some simple situations \citep{j.2018on}. For recurrent models, online algorithms modify the parameter while the model is running, which further complicates the analysis with respect to simple SGD.Local convergence for these various algorithms results from a single, more general set of assumptions, in the setup of learning dynamical systems online. Thus, these results can cover other variants of the algorithms considered.We adopt an "ergodic" rather than probabilistic viewpoint, working with empirical time averages instead of probability distributions. This is more data-agnostic and creates differences with respect to standard SGD theory, especially for the range of possible learning rates. For instance, with cycling or per-epoch reshuffling over a finite dataset instead of pure i.i.d.\ sampling with replacement, empirical averages of gradients converge at rate $1/T$ instead of $1/\sqrt{T}$ (cycling acts as a variance reduction method), theoretically allowing for larger learning rates than in SGD.

研究动机与目标

• 建立在线自适应与递归优化算法的局部收敛性，这些算法的标准随机梯度下降（SGD）理论不适用。
• 解决 Adam、RTRL、NoBackTrack 和 UORO 等算法在实践中广泛应用但缺乏局部收敛性分析的问题。
• 开发一个基于经验时间平均而非概率分布的统一理论框架，支持在非独立同分布（non-i.i.d.）数据采样下的分析。
• 证明在数据集循环或按周期重排时，梯度平均的收敛速率为 1/T，从而允许比 i.i.d. SGD 更大的学习率。
• 通过将 RMSProp 和在线自然梯度等自适应算法视为广义在线训练算法的特例，证明其收敛性。

提出的方法

• 采用基于有限循环数据集上梯度经验时间平均的‘遍历’视角，而非独立同分布采样下的期望值。
• 引入一个针对动力系统的一般在线训练算法，其参数更新由时间平均梯度和受控步长驱动。
• 围绕局部最小值 θ∗ 运用压缩论证，利用导数有界性和转移算子谱半径控制。
• 通过目标轨迹的光滑性与稳定性假设，建立状态轨迹和损失函数高阶导数的统一有界性。
• 使用稳定管论证控制雅可比矩阵与海森矩阵的演化，确保参数更新算子的有界性与等连续性。
• 通过有限时间偏差界与区间内误差的压缩性证明收敛性，步长选择以平衡稳定性与收敛速率。

实验结果

研究问题

• RQ1 能否证明 RTRL 及其近似算法（如 NoBackTrack、UORO）在在线、非 i.i.d. 条件下的局部收敛性？
• RQ2 当 Adam 的 β₂→1 时，其是否仍具有局部收敛性，尽管在标准 SGD 框架下会失败？
• RQ3 能否在避免 i.i.d. 假设的前提下，为 RMSProp 和在线自然梯度等自适应算法建立统一的分析框架？
• RQ4 与 i.i.d. 采样相比，对有限数据集进行循环或按周期重排的经验平均如何影响收敛速率与学习率边界？
• RQ5 在在线递归学习中，何种条件可确保参数更新保持有界并收敛至局部最小值？

主要发现

• 在一组通用假设下，证明了 RTRL、NoBackTrack、UORO、RMSProp、在线自然梯度以及 β₂→1 的 Adam 的局部收敛性。
• 在循环或按周期重排的数据集上，经验梯度平均的收敛速率为 1/T，支持比 i.i.d. SGD 的 1/√T 更大的学习率。
• 本文建立了在最优轨迹周围稳定管上，状态轨迹与损失函数三阶导数的统一有界性。
• 当预条件矩阵的二阶导数有界时，可实现扩展海森矩阵的等连续性，满足收敛性的关键技术条件。
• 为状态与雅可比矩阵构建了稳定管，确保偏离最优轨迹的偏差在时间上保持受控。
• 分析表明，即使 RTRL 算法存在不完美（如 NoBackTrack、UORO），只要其近似误差有界且底层系统稳定，仍可实现局部收敛。