[论文解读] Backprop without Learning Rates Through Coin Betting

Francesco Orabona, Tatiana Tommasi|arXiv (Cornell University)|Jan 1, 2017

Stochastic Gradient Optimization Techniques被引用 3

一句话总结

本文通过将优化过程建模为一个抛硬币博弈，提出了一种无需学习率的深度神经网络随机优化算法。通过一种新颖的自适应投注策略，消除了手动调整学习率的需求，该方法在凸函数和拟凸函数下实现了理论收敛性，并且在无需曲率假设或学习率自适应的情况下，表现出优于标准随机梯度方法的实证性能。

ABSTRACT

Deep learning methods achieve state-of-the-art performance in many application scenarios. Yet, these methods require a significant amount of hyperparameters tuning in order to achieve the best results. In particular, tuning the learning rates in the stochastic optimization process is still one of the main bottlenecks. In this paper, we propose a new stochastic gradient descent procedure for deep networks that does not require any learning rate setting. Contrary to previous methods, we do not adapt the learning rates nor we make use of the assumed curvature of the objective function. Instead, we reduce the optimization process to a game of betting on a coin and propose a learning-rate-free optimal algorithm for this scenario. Theoretical convergence is proven for convex and quasi-convex functions and empirical evidence shows the advantage of our algorithm over popular stochastic gradient algorithms.

研究动机与目标

• 为解决深度学习中持续存在的超参数调优挑战，特别是设置最优学习率的困难。
• 开发一种不依赖任何学习率超参数的随机优化过程。
• 在优化过程中消除对曲率估计或自适应学习率机制的依赖。
• 提供一种理论基础坚实的、无学习率的随机梯度下降替代方法。
• 通过实证验证该方法在性能上优于传统随机优化算法。

提出的方法

• 将优化过程重新表述为一个在硬币上投注的游戏，其中模型参数的更新基于投注策略，而非使用固定或自适应学习率的梯度下降。
• 从抛硬币框架中推导出一种新颖的无学习率更新规则，该规则根据梯度符号和大小动态调整参数更新。
• 该方法采用一种投注策略，通过在探索与利用之间保持平衡，确保在凸函数和拟凸函数条件下的收敛性。
• 该算法无需估计 Hessian 矩阵或任何曲率信息，从而与二阶方法或自适应方法区分开来。
• 利用在线凸优化和遗憾最小化框架，证明了凸函数和拟凸函数下的理论收敛性。
• 实证评估将该方法与标准随机梯度下降以及 Adam 等自适应方法进行了比较，结果表明其在训练稳定性和性能方面表现更优。

实验结果

研究问题

• RQ1 是否可以在深度学习的随机优化中完全不使用学习率超参数？
• RQ2 基于抛硬币的无学习率方法是否能在凸函数和拟凸函数下实现理论收敛？
• RQ3 在实践中，该方法与标准随机梯度下降及 Adam 等自适应方法相比性能如何？
• RQ4 抛硬币框架是否能为深度神经网络中的学习率自适应提供稳定且有效的替代方案？
• RQ5 该方法在缺乏曲率信息或梯度大小缩放的情况下是否依然具备鲁棒性？

主要发现

• 所提出的无学习率算法在凸函数和拟凸函数目标函数下均实现了理论收敛。
• 实证结果表明，该方法在训练稳定性和最终性能方面优于标准随机梯度下降及 Adam 等自适应方法。
• 该方法无需任何学习率调优，显著减少了超参数搜索的工作量。
• 该算法在不依赖曲率估计或自适应学习率机制的情况下仍保持优异性能。
• 抛硬币框架为传统基于学习率的优化提供了一种有原则且有效的替代方案。
• 该方法在多种深度学习任务中表现出鲁棒性，表明其具有广泛的应用潜力。