[论文解读] An improvement of the convergence proof of the ADAM-Optimizer

Sebastian Bock, Josef Goppold+1 more|arXiv (Cornell University)|Apr 27, 2018

Stochastic Gradient Optimization Techniques参考文献 3被引用 125

一句话总结

本文给出对 ADAM 优化器收敛性的新证明，弥补 Kingma–Ba 原证明中的不足，并给出在给定条件下的 1/sqrt(T) 收敛的推论（Corollary），同时指出仍然存在一个未解决的猜想。

ABSTRACT

A common way to train neural networks is the Backpropagation. This algorithm includes a gradient descent method, which needs an adaptive step size. In the area of neural networks, the ADAM-Optimizer is one of the most popular adaptive step size methods. It was invented in \cite{Kingma.2015} by Kingma and Ba. The $5865$ citations in only three years shows additionally the importance of the given paper. We discovered that the given convergence proof of the optimizer contains some mistakes, so that the proof will be wrong. In this paper we give an improvement to the convergence proof of the ADAM-Optimizer.

研究动机与目标

• 激发在神经网络训练中使用自适应步长的动机，并考察 ADAM 优化器的理论收敛性。
• 识别并解决 Kingma 与 Ba 原始收敛性证明中的错误。
• 提出对收敛性分析的改进并提出一个可能完成证明的猜想。

提出的方法

• 回顾 ADAM 算法及其矩估计（m_t 和 v_t）及其更新。
• 引入一个关于包含平方偏差矩和过去梯度的界限的猜想（Conjecture 4.2）。
• 定义误差和 R(T) 以量化相对于最优解的累计偏差，并推导出 R(T) 的上界（Theorem 4.4）。
• 推导一个推论（Corollary 4.5），在梯度有界且参数更新有界的条件下显示 R(T)/T = O(1/√T)。
• 提供对更新项及其对收敛界贡献的结构化、逐分量（每个坐标）的分析。

实验结果

研究问题

• RQ1 在给定的随机更新规则下，ADAM 优化器是否对凸且可微的误差函数收敛？
• RQ2 累积误差 R(T) 的界限是什么，在 ADAM 更新下它如何随 T 增长而变化？
• RQ3 是否可以建立一个推论，在梯度有界且参数差有界的条件下，证明 R(T)/T 的 1/√T 收敛速率？
• RQ4 为完成对 ADAM 的原始收敛性证明，需要什么猜想或缺失的部分？

主要发现

• 给出误差和 R(T) 的上界，结合梯度、步长和矩估计相关项。
• 在给定假设下，R(T) 的上界由随 √T 增长的项和 1/(1−λ)^2 等因素的项组成。
• Corollary 4.5 显示 R(T)/T = O(1/√T)，在梯度有界且权重更新有界的条件下，ADAM 的收敛速率为次线性。
• 该分析依赖于关于梯度相关界限的猜想（Conjecture 4.2），被视为完成原始证明的尚未解决部分。
• 本文以改进的收敛性证明作结，并指出若完全确定该猜想将增强对 ADAM 收敛性质的信心。