[论文解读] Convergence guarantees for RMSProp and ADAM in non-convex optimization and an empirical comparison to Nesterov acceleration

Soham De, Anirbit Mukherjee+1 more|arXiv (Cornell University)|Jul 18, 2018

Stochastic Gradient Optimization Techniques参考文献 37被引用 82

一句话总结

本论文为平滑非凸优化中的 RMSProp 与 ADAM 提供收敛保证，并在自编码器和 CIFAR-10 上与 Nesterov 加速进行实证比较。还分析超参数敏感性，特别是 ADAM 的动量参数。

ABSTRACT

RMSProp and ADAM continue to be extremely popular algorithms for training neural nets but their theoretical convergence properties have remained unclear. Further, recent work has seemed to suggest that these algorithms have worse generalization properties when compared to carefully tuned stochastic gradient descent or its momentum variants. In this work, we make progress towards a deeper understanding of ADAM and RMSProp in two ways. First, we provide proofs that these adaptive gradient algorithms are guaranteed to reach criticality for smooth non-convex objectives, and we give bounds on the running time. Next we design experiments to empirically study the convergence and generalization properties of RMSProp and ADAM against Nesterov's Accelerated Gradient method on a variety of common autoencoder setups and on VGG-9 with CIFAR-10. Through these experiments we demonstrate the interesting sensitivity that ADAM has to its momentum parameter $β_1$. We show that at very high values of the momentum parameter ($β_1 = 0.99$) ADAM outperforms a carefully tuned NAG on most of our experiments, in terms of getting lower training and test losses. On the other hand, NAG can sometimes do better when ADAM's $β_1$ is set to the most commonly used value: $β_1 = 0.9$, indicating the importance of tuning the hyperparameters of ADAM to get better generalization performance. We also report experiments on different autoencoders to demonstrate that NAG has better abilities in terms of reducing the gradient norms, and it also produces iterates which exhibit an increasing trend for the minimum eigenvalue of the Hessian of the loss function at the iterates.

研究动机与目标

• 为自适应梯度方法（RMSProp 和 ADAM）在非凸优化中提供首个收敛性保证。
• 在光滑性假设下推导达到近似临界点所需的运行时间上界。
• 在自编码器和 CIFAR-10 上对 RMSProp、ADAM 与 Nesterov 加速梯度进行实证比较。
• 突出超参数敏感性，尤其是 ADAM 的动量参数 β1，以及泛化趋势。

提出的方法

• 定义 L-光滑的非凸目标和有限和结构 f(x)=k^{-1} sum_p f_p(x)。
• 在确定性与随机设置下引入并分析 RMSProp 和 ADAM 的更新。
• 在一个技术性的 oracle 假设下证明随机 RMSProp 收敛到近似临界点。
• 通过在自编码器和 CIFAR-10 的 VGG-9 上的实验，将其与 Nesterov 加速梯度（NAG）进行比较。
• 利用对角预条件化框架及其对应的自适应方法收敛性论证。

实验结果

研究问题

• RQ1 RMSProp 与 ADAM 在平滑非凸优化中是否会收敛到近似临界点？
• RQ2 这些自适应方法达到近似驻点的运行时上界是多少？
• RQ3 在神经网络的训练与泛化方面，RMSProp 和 ADAM 与 Nesterov 加速的比较如何？
• RQ4 动量参数 β1 如何影响 ADAM 的性能与泛化？
• RQ5 当网络规模扩展时，自适应方法是否在泛化上与非自适应方法有不同之处？

主要发现

• 为自适应梯度方法（RMSProp 和 ADAM）在平滑非凸目标中达到近似临界点建立了首批收敛性保证。
• 在对梯度 oracle 的额外假设下，证明了随机 RMSProp 的收敛。
• 实证结果表明 ADAM 对动量参数 β1 高度敏感，β1=0.99 在某些任务上常常与经过精心调优的 NAG 相匹配甚至优于它。
• 在全批量和大网络尺度下，在自编码器任务中，较大的 β1 的 ADAM 可以给出比 NAG 和 RMSProp 更低的训练和测试损失。
• NAG 倾向于降低梯度范数，并在自编码器上产生具有越来越大最小 Hessian 本征值趋势的迭代点。
• 在带有 VGG-9 的 CIFAR-10 上，实证比较扩展到自编码器之外的任务。