[论文解读] Equilibrated adaptive learning rates for non-convex optimization

Yann Dauphin, Harm de Vries+1 more|arXiv (Cornell University)|Feb 15, 2015

Stochastic Gradient Optimization Techniques参考文献 18被引用 152

一句话总结

该论文提出 ESGD，一种用于非凸优化的自适应学习率方法，通过使用均衡预处理（equilibration preconditioner）更好地处理深度学习中的鞍点问题。与 RMSProp 或雅可比预处理相比，ESGD 能够更紧密地对齐 Hessian 矩阵的曲率结构，从而实现更快的收敛速度——在 MNIST 上比 SGD 快 3 倍——并且在训练速度和最终误差方面优于 RMSProp。实证证据表明，RMSProp 的成功可能源于其与均衡预处理的相似性。

ABSTRACT

Parameter-specific adaptive learning rate methods are computationally efficient ways to reduce the ill-conditioning problems encountered when training large deep networks. Following recent work that strongly suggests that most of the critical points encountered when training such networks are saddle points, we find how considering the presence of negative eigenvalues of the Hessian could help us design better suited adaptive learning rate schemes. We show that the popular Jacobi preconditioner has undesirable behavior in the presence of both positive and negative curvature, and present theoretical and empirical evidence that the so-called equilibration preconditioner is comparatively better suited to non-convex problems. We introduce a novel adaptive learning rate scheme, called ESGD, based on the equilibration preconditioner. Our experiments show that ESGD performs as well or better than RMSProp in terms of convergence speed, always clearly improving over plain stochastic gradient descent.

研究动机与目标

• 为解决非凸优化中病态条件问题，特别是在鞍点附近导致深度神经网络训练变慢的问题。
• 分析现有对角预处理方法（尤其是雅可比预处理）在曲率同时包含正负特征值时的局限性。
• 提出一种基于均衡预处理的新自适应学习率调度方法 ESGD，以更好地处理非凸景观中的混合曲率。
• 通过实证验证，ESGD 在深度自编码器基准测试中，相较于 RMSProp 和 SGD，具有更快的收敛速度和更低的最终损失。
• 通过比较其更新方向与均衡更新方向，探究 RMSProp 在实践中表现优异的原因。

提出的方法

• 定义均衡预处理为 $ \mathbf{D}^{\text{E}} = \sqrt{\text{diag}(\mathbf{H}^2)} $，其中 $ \mathbf{H} $ 为 Hessian 矩阵，以平衡正负方向上的曲率。
• ESGD 通过使用来自小批量梯度的无偏随机估计器，自适应地估计 $ \mathbf{D}^{\text{E}} $。
• 通过 $ \hat{\theta} = \mathbf{D}^{1/2} \theta $ 变换参数空间，得到新的函数 $ \hat{f} $，其曲率更均匀，从而提升收敛性。
• 在变换后的空间中应用梯度下降，使用预处理更新：$ \theta_t = \theta_{t-1} - \eta \mathbf{D}^{-1} \nabla f(\theta) $。
• 通过使用对角近似避免完整 Hessian 矩阵的计算，使该方法在大规模模型中计算高效。
• 在 Theano 上使用深度自编码器对方法进行评估，报告训练误差时未使用动量，以隔离优化器性能。

实验结果

研究问题

• RQ1 在非凸优化中，当曲率同时包含正负特征值（典型于鞍点）时，雅可比预处理的性能如何？
• RQ2 尽管 RMSProp 并非专为逃离鞍点而设计，为何其在训练深度网络时仍表现强劲？
• RQ3 在非凸设置中，均衡预处理是否能提供优于雅可比或 RMSProp 的收敛行为？
• RQ4 在训练过程中，RMSProp 的更新方向与均衡预处理的更新方向在多大程度上保持一致？
• RQ5 基于均衡预处理的自适应学习率方法是否在收敛速度和最终损失方面优于 RMSProp 和 SGD？

主要发现

• 在 MNIST 自编码器基准测试中，ESGD 显著优于 RMSProp 和 SGD，最终训练均方误差为 0.86，而 SGD 为 2.1，RMSProp 的值更高。
• 在 MNIST 上，ESGD 的收敛速度约为标准 SGD 的三倍，性能优势在 250 个 epoch 后最为明显。
• 在 CURVES 数据集上，ESGD 表现最佳，但与 RMSProp 的性能差距较小，表明预处理方法的表现具有数据集依赖性。
• 在 CURVES 数据集上，RMSProp 估计的预处理矩阵与均衡矩阵之间的余弦距离保持较低（约 0.05），表明其更新方向与均衡更新高度一致。
• 在 MNIST 上，RMSProp 在 1000 个 epoch 后与均衡预处理产生偏离，同时性能相对于 ESGD 下降，表明 RMSProp 的成功与其与均衡预处理的相似性密切相关。
• 理论与实证分析均表明，雅可比预处理在混合曲率环境下表现不佳，而均衡预处理能更有效地平衡正负曲率，从而更快地逃离鞍点。