[论文解读] Gradient Descent based Optimization Algorithms for Deep Learning Models Training

Jiawei Zhang|arXiv (Cornell University)|Mar 11, 2019

Stochastic Gradient Optimization Techniques参考文献 10被引用 45

一句话总结

对基于梯度下降的优化方法在训练深度神经网络中的全面介绍，涵盖 原生梯度下降、随机梯度、mini-batch、动量、Nesterov、自适应方法（Adagrad、RMSprop、Adadelta）以及像 Gadam 这样的混合方法，附有形式定义、方程和算法伪代码。

ABSTRACT

In this paper, we aim at providing an introduction to the gradient descent based optimization algorithms for learning deep neural network models. Deep learning models involving multiple nonlinear projection layers are very challenging to train. Nowadays, most of the deep learning model training still relies on the back propagation algorithm actually. In back propagation, the model variables will be updated iteratively until convergence with gradient descent based optimization algorithms. Besides the conventional vanilla gradient descent algorithm, many gradient descent variants have also been proposed in recent years to improve the learning performance, including Momentum, Adagrad, Adam, Gadam, etc., which will all be introduced in this paper respectively.

研究动机与目标

• 为训练深度神经网络引入基于梯度下降的优化方法。
• 展示并比较常规、动量和自适应梯度方法。
• 提供核心优化算法的形式化方程与伪代码。
• 讨论学习率、收敛性和鞍点等实际考量。

提出的方法

• 将深度网络的学习目标定义为最小化 L(theta; T)。
• 给出原生梯度下降、SGD 和 mini-batch GD 及其更新规则。
• 介绍 Momentum 和 Nesterov Accelerated Gradient 及其前瞻/更新方案。
• 描述自适应梯度方法（Adagrad、RMSprop、Adadelta）及其逐参数学习率。
• 为每种方法提供算法伪代码并讨论收敛性与稳定性考量。

实验结果

研究问题

• RQ1 用于训练深度学习模型的基础梯度下降–based 算法有哪些？它们在数据使用和更新规则上有何区别？
• RQ2 动量和前瞻方法（Nesterov）如何比标准梯度下降更好地收敛？
• RQ3 自适应梯度方法如何在参数和时间上调整学习率，并权衡何种取舍？
• RQ4 影响训练稳定性和性能的实际因素（学习率、收敛准则、鞍点）有哪些？
• RQ5 混合方法（如 Gadam）如何将基于梯度的学习与进化策略结合以优化模型训练？

主要发现

• 给出原生 GD、SGD 和 mini-batch GD 的形式定义及其更新方程。
• 推导并解释 Momentum 与 Nesterov Accelerated Gradient 及其对收敛行为的影响。
• 详细阐述自适应梯度方法 Adagrad、RMSprop 和 Adadelta 的逐参数学习率与衰减机制。
• 提供主要方法的算法伪代码，便于实际实现与比较。
• 讨论训练深度网络中学习率选择、调整与避免鞍点等实际挑战。
• 引入混合进化梯度概念（Gadam），作为将梯度下降与遗传进化相结合的变体。