[论文解读] ADADELTA: An Adaptive Learning Rate Method

Matthew D. Zeiler|arXiv (Cornell University)|Dec 22, 2012

Neural Networks and Applications参考文献 6被引用 5,519

一句话总结

ADADELTA 引入了一种逐维自适应学习率方法，仅使用一阶信息，消除了手动调节学习率的需要，并在不同体系结构和数据上提高鲁棒性。

ABSTRACT

We present a novel per-dimension learning rate method for gradient descent called ADADELTA. The method dynamically adapts over time using only first order information and has minimal computational overhead beyond vanilla stochastic gradient descent. The method requires no manual tuning of a learning rate and appears robust to noisy gradient information, different model architecture choices, various data modalities and selection of hyperparameters. We show promising results compared to other methods on the MNIST digit classification task using a single machine and on a large scale voice dataset in a distributed cluster environment.

研究动机与目标

• 说明需要一种无需手动调参的学习率方法。
• 开发仅使用一阶信息的逐维自适应学习率。
• 缓解在 ADAGRAD 中观察到的持续学习率衰减问题，同时保留其优点。
• 展示在不同数据集、架构和分布式训练环境中的鲁棒性。

提出的方法

• 通过指数移动平均引入平方梯度的窗口化累积：E[g^2]_t = rho E[g^2]_{t-1} + (1 - rho) g_t^2.
• Compute updates using RMS-based normalization: Delta x_t = - (RMS[Delta x]_{t-1} / RMS[g]_t) g_t.
• 以相同的 rho 维持平方更新的累积 E[Delta x^2]_t，以实现单位一致的更新。
• 从对角Hessian启发的一种近似推导 ADADELTA 更新，确保单位和稳定性：Delta x_t = - (RMS[Delta x]_{t-1} / RMS[g]_t) g_t.
• 对分子和分母都应用 epsilon，以开始并稳定学习过程。
• 给出一个算法（Algorithm 1），详细说明初始化、梯度计算、累积、更新和应用。

实验结果

研究问题

• RQ1 是否能仅使用一阶信息实现逐维自适应学习率？
• RQ2 窗口化（非全局）梯度统计累积是否能像 ADAGRAD 那样防止学习率消失？
• RQ3 基于 RMS 的更新是否在不同数据集、架构和分布式设置中表现出鲁棒性？
• RQ4 与 SGD、Momentum 和 ADAGRAD 相比，ADADELTA 的超参数如何影响性能？
• RQ5 ADADELTA 对整个网络层及训练过程中的有效学习率有何影响？

主要发现

• ADADELTA 在初始收敛速度上与 ADAGRAD 相当或优于，并通过使用梯度的窗口化累积来维持进展。
• ADADELTA 对超参数设置具有鲁棒性，敏感度低于 SGD、Momentum 或 ADAGRAD。
• 在 MNIST 上，ADADELTA 实现了有竞争力的测试误差，且在各种激活函数和网络规模下仍然有效。
• 在大规模语音实验中，ADADELTA 在分布式副本上表现良好，保持快速收敛。
• 在训练初期，低层的步长较大，随着训练进行趋向于1，更新平滑地减小。