[论文解读] A general system of differential equations to model first order adaptive algorithms

André Belotto da Silva, Maxime Gazeau|arXiv (Cornell University)|Oct 31, 2018

Advanced Optimization Algorithms Research参考文献 47被引用 13

一句话总结

本文提出了一类通用的连续时间微分方程系统，用于建模诸如 Adam、RMSProp 和 Nesterov 方法等一阶自适应优化算法。通过分析该系统的收敛性质，作者建立了轨迹收敛到临界点、避免收敛到鞍点和局部极大值的条件，并推导了凸与非凸设置下的收敛速率，为深度学习中自适应方法的行为提供了理论洞察。

ABSTRACT

First order optimization algorithms play a major role in large scale machine learning. A new class of methods, called adaptive algorithms, were recently introduced to adjust iteratively the learning rate for each coordinate. Despite great practical success in deep learning, their behavior and performance on more general loss functions are not well understood. In this paper, we derive a non-autonomous system of differential equations, which is the continuous time limit of adaptive optimization methods. We prove global well-posedness of the system and we investigate the numerical time convergence of its forward Euler approximation. We study, furthermore, the convergence of its trajectories and give conditions under which the differential system, underlying all adaptive algorithms, is suitable for optimization. We discuss convergence to a critical point in the non-convex case and give conditions for the dynamics to avoid saddle points and local maxima. For convex and deterministic loss function, we introduce a suitable Lyapunov functional which allow us to study its rate of convergence. Several other properties of both the continuous and discrete systems are briefly discussed. The differential system studied in the paper is general enough to encompass many other classical algorithms (such as Heavy ball and Nesterov's accelerated method) and allow us to recover several known results for these algorithms.

研究动机与目标

• 开发一个统一的连续时间框架，用于分析深度学习中使用的一阶自适应优化算法。
• 理解自适应算法在经验成功之外的收敛行为，特别是在非凸与凸设置下的表现。
• 识别确保收敛并避免收敛到鞍点或局部极大值的超参数条件。
• 利用李雅普诺夫泛函推导凸损失函数下的收敛速率，并与梯度下降法进行比较。
• 通过研究其连续时间极限，为设计和调优自适应算法提供理论指导。

提出的方法

• 提出一个非自治常微分方程（ODE）系统，作为离散自适应优化算法的连续时间极限。
• 推导出一般 ODE 系统（2.1），其前向欧拉离散化可匹配一大类一阶方法，包括 Adam 和 Nesterov 方法。
• 引入一个李雅普诺夫泛函（2.4）及其推广形式（E.2），以分析 ODE 轨迹的收敛性与稳定性。
• 应用具有时变系数的能量法，推导出收敛的充分条件，包括对辅助函数 A(t)、B(t)、C(t) 的不等式（E.6）和（E.7）。
• 利用微积分基本定理及范数有界性，推导出目标函数值的收敛速率估计。
• 建立 ODE 系统与经典加速方法（如 Heavy Ball、Nesterov）之间的等价性，当参数选择适当时。

实验结果

研究问题

• RQ1 在非凸设置下，建模自适应算法的连续时间 ODE 系统在何种条件下收敛到临界点？
• RQ2 在非凸优化中，何种条件可确保动态过程避免收敛到鞍点或局部极大值？
• RQ3 对于凸损失函数，自适应算法的收敛速率与标准梯度下降法相比如何？
• RQ4 连续时间 ODE 框架能否恢复经典加速方法（如 Nesterov 方法）的已知收敛结果？
• RQ5 在 ODE 系统中，何种超参数选择可保证优化轨迹的稳定与收敛行为？

主要发现

• 在温和假设下，连续时间 ODE 系统（2.1）可确保收敛到损失函数的临界集，即使在非凸设置中亦然。
• 推导出避免收敛到鞍点和局部极大值的充分条件，依赖于 ODE 的结构及时间变系数的选择。
• 对于凸损失函数，构造了一个李雅普诺夫泛函，证明在特定参数选择下，目标函数值收敛到最小值的速率为 o(1/t^{2r/3})。
• 在标准超参数设置下，自适应性在凸设置中反而降低了收敛速率，与常见直觉相反。
• 当参数适当调节时，该框架可恢复经典方法（如 Nesterov 加速方法和 Heavy Ball）的已知收敛结果。
• 广义能量泛函使得在标准泛函失效的情况下（特别是当 0 < r < 3 时的 Nesterov 方法）仍能进行收敛速率分析。