[论文解读] Convergence guarantees for RMSProp and ADAM in non-convex optimization and their comparison to Nesterov acceleration on autoencoders.

Amitabh Basu, Soham De+2 more|arXiv (Cornell University)|Jul 18, 2018

Stochastic Gradient Optimization Techniques参考文献 16被引用 32

一句话总结

本文为非凸优化中的RMSProp和ADAM提供了理论收敛保证，证明其可在有界时间内收敛至临界点。在自编码器上的实验表明，当动量参数$β_1 = 0.99$时，ADAM在深层网络中显著优于Nesterov加速梯度（NAG）；而当ADAM使用标准$β_1 = 0.9$设置时，NAG在泛化性能上表现更优。

ABSTRACT

RMSProp and ADAM continue to be extremely popular algorithms for training neural nets but their theoretical foundations have remained unclear. In this work we make progress towards that by giving proofs that these adaptive gradient algorithms are guaranteed to reach criticality for smooth non-convex objectives and we give bounds on the running time. We then design experiments to compare the performances of RMSProp and ADAM against Nesterov Accelerated Gradient method on a variety of autoencoder setups. Through these experiments we demonstrate the interesting sensitivity that ADAM has to its momentum parameter $\beta_1$. We show that in terms of getting lower training and test losses, at very high values of the momentum parameter ($\beta_1 = 0.99$) (and large enough nets if using mini-batches) ADAM outperforms NAG at any momentum value tried for the latter. On the other hand, NAG can sometimes do better when ADAM's $\beta_1$ is set to the most commonly used value: $\beta_1 = 0.9$. We also report experiments on different autoencoders to demonstrate that NAG has better abilities in terms of reducing the gradient norms and finding weights which increase the minimum eigenvalue of the Hessian of the loss function.

研究动机与目标

• 为平滑非凸优化问题中的RMSProp和ADAM建立理论收敛保证。
• 分析ADAM在实际应用中对动量超参数$β_1$的敏感性。
• 在多种自编码器架构上比较ADAM与Nesterov加速梯度（NAG）的性能。
• 评估每种优化器在降低梯度范数和改善Hessian条件数方面的能力。
• 确定在非凸深度学习场景中ADAM和NAG的最优超参数设置。

提出的方法

• 理论分析证明，对于平滑非凸目标函数，RMSProp和ADAM可收敛至临界点，并给出收敛时间的上界。
• 通过在多种自编码器设置下进行实证评估，比较ADAM与NAG在不同网络深度和小批量大小下的表现。
• 实验中将ADAM的$β_1$从标准值0.9调整至高值0.99，评估其对训练和测试损失的影响。
• 监控梯度范数的减小和最小Hessian特征值，作为优化质量的指标。
• 在不同架构间进行比较，以评估其鲁棒性和泛化性能。
• 分析同时包含训练损失和泛化（测试损失）指标，以评估优化的有效性。

实验结果

研究问题

• RQ1 RMSProp和ADAM是否能在非凸优化中理论上保证收敛至临界点？
• RQ2 ADAM中$β_1$的选择如何影响其相对于NAG的性能？
• RQ3 在何种条件下ADAM在训练和测试损失方面优于NAG？
• RQ4 NAG是否在梯度范数减小或Hessian条件数方面优于ADAM？
• RQ5 网络深度和小批量大小如何影响ADAM与NAG之间的性能差距？

主要发现

• RMSProp和ADAM在平滑非凸优化中理论上可保证收敛至临界点，且收敛时间有界。
• 当$β_1 = 0.99$时，ADAM在训练和测试损失上均优于NAG，尤其在深层网络和小批量设置下表现更优。
• 当ADAM使用标准$β_1 = 0.9$时，Nesterov加速梯度（NAG）在泛化性能方面通常表现更优。
• NAG在优化过程中展现出更强的梯度范数减小能力，优于ADAM。
• NAG还找到了最小Hessian特征值更高的解，表明其具有更优的局部曲率特性。
• ADAM的性能对$β_1$的选择极为敏感，$β_1 = 0.99$相比$β_1 = 0.9$在深度设置下可带来显著性能提升。