[论文解读] Adam: A Method for Stochastic Optimization

Diederik P. Kingma, Jimmy Ba|UvA-DARE (University of Amsterdam)|Dec 22, 2014

Stochastic Gradient Optimization Techniques参考文献 20被引用 84,466

一句话总结

Adam 是一种基于梯度的随机优化算法，使用偏差修正的一阶和二阶矩估计来自适应每个参数的学习率，在大规模、稀疏和非平稳目标上提供鲁棒性性能，并具理论收敛保证。

ABSTRACT

We introduce Adam, an algorithm for first-order gradient-based optimization of stochastic objective functions, based on adaptive estimates of lower-order moments. The method is straightforward to implement, is computationally efficient, has little memory requirements, is invariant to diagonal rescaling of the gradients, and is well suited for problems that are large in terms of data and/or parameters. The method is also appropriate for non-stationary objectives and problems with very noisy and/or sparse gradients. The hyper-parameters have intuitive interpretations and typically require little tuning. Some connections to related algorithms, on which Adam was inspired, are discussed. We also analyze the theoretical convergence properties of the algorithm and provide a regret bound on the convergence rate that is comparable to the best known results under the online convex optimization framework. Empirical results demonstrate that Adam works well in practice and compares favorably to other stochastic optimization methods. Finally, we discuss AdaMax, a variant of Adam based on the infinity norm.

研究动机与目标

• 为具有高维参数的随机目标提供高效的一阶优化算法。
• 将 AdaGrad（稀疏梯度）和 RMSProp（非平稳目标）的优点合并为一种方法。
• 引入偏差修正的矩估计以稳定早期迭代。
• 在在线凸优化中分析收敛性，并在机器学习模型上展示实际有效性。

提出的方法

• 使用以 beta1 和 beta2 为衰减率的指数衰减，维护梯度的一阶矩（m_t）和二阶矩（v_t）的滑动估计。
• 计算偏差修正估计（b_m_t 和 b_v_t），以补偿初始值为零。
• 使用 theta_t = theta_{t-1} - alpha * b_m_t / (sqrt(b_v_t) + epsilon) 更新参数。
• 提供基于无穷范数的 AdaMax 变体，并讨论如时间平均等扩展。
• 表明有效步长是有界的，并由 alpha 近似控制，提供一种自动退火的形式。
• 在在线凸优化语境中给出理论收敛保证（O(sqrt(T)) regret）。

实验结果

研究问题

• RQ1 如何设计一个随机优化器，使其基于梯度统计对每个参数自适应学习率？
• RQ2 在在线凸优化中，Adam 的理论保证（后悔界限）是什么？
• RQ3 在不同的机器学习模型和数据集上，Adam 与 AdaGrad、RMSProp 及相关方法在实证上有何比较？
• RQ4 偏差校正项对稳定性与收敛性的影响如何，尤其在稀疏梯度下？
• RQ5 像 AdaMax 和时间平均等扩展在实际中能否提升性能？

主要发现

• 与其他一阶方法相比，Adam 在逻辑回归、多层网络和卷积神经网络上持续提升或达到相同的性能。
• 该算法对稀疏梯度和非平稳目标具有良好处理能力，常常与 AdaGrad 和 RMSProp 相当甚至优于它们。
• 偏差校正项对稳定性很重要，尤其在高度稀疏或较大的初始步长时。
• Adam 能实现鲁棒、可扩展的优化，并进行逐参数学习率自适应，通常比带动量的 SGD 和其他基线更快。
• 理论分析给出一个 O(sqrt(T)) 的后悔界，与在线凸优化中的最佳已知结果相当。
• AdaMax 提供了基于无穷范数的稳定更新的替代变体。