[论文解读] Backtracking Gradient Descent allowing unbounded learning rates

Tuyen Trung Truong|arXiv (Cornell University)|Jan 7, 2020

Stochastic Gradient Optimization Techniques参考文献 4被引用 6

一句话总结

本文提出无界回溯梯度下降（Unbounded Backtracking Gradient Descent），即一种允许学习率在函数 $ h $ 满足特定衰减条件时无界增长的回溯 GD 变体，同时仍能保证收敛至临界点。主要贡献在于证明了在与先前工作相同的通用条件下实现收敛，但不再要求学习率有界，从而在逃离不良极小值方面提升了理论鲁棒性。

ABSTRACT

In unconstrained optimisation on an Euclidean space, to prove convergence in Gradient Descent processes (GD) $x_{n+1}=x_n-δ_n abla f(x_n)$ it usually is required that the learning rates $δ_n$'s are bounded: $δ_n\leq δ$ for some positive $δ$. Under this assumption, if the sequence $x_n$ converges to a critical point $z$, then with large values of $n$ the update will be small because $||x_{n+1}-x_n||\lesssim || abla f(x_n)||$. This may also force the sequence to converge to a bad minimum. If we can allow, at least theoretically, that the learning rates $δ_n$'s are not bounded, then we may have better convergence to better minima. A previous joint paper by the author showed convergence for the usual version of Backtracking GD under very general assumptions on the cost function $f$. In this paper, we allow the learning rates $δ_n$ to be unbounded, in the sense that there is a function $h:(0,\infty) ightarrow (0,\infty )$ such that $\lim _{t ightarrow 0}th(t)=0$ and $δ_n\lesssim \max \{h(x_n),δ\}$ satisfies Armijo's condition for all $n$, and prove convergence under the same assumptions as in the mentioned paper. It will be shown that this growth rate of $h$ is best possible if one wants convergence of the sequence $\{x_n\}$. A specific way for choosing $δ_n$ in a discrete way connects to Two-way Backtracking GD defined in the mentioned paper. We provide some results which either improve or are implicitly contained in those in the mentioned paper and another recent paper on avoidance of saddle points.

研究动机与目标

• 为解决标准及回溯梯度下降中学习率有界所带来的局限性，该局限性可能导致收敛至不良局部极小值。
• 在保持收敛至临界点的前提下，实现回溯 GD 中理论上无界的学習率。
• 证明控制学习率上界之函数 $ h $ 的增长速率对于收敛而言是最优的。
• 在对代价函数假设最少的前提下，将收敛结果从有界学习率情形推广至无界学习率情形。
• 提供无界回溯 GD 的实用离散实现，将其与双向回溯 GD 相关联。

提出的方法

• 引入函数 $ h:(0,∞)\to(0,∞) $，满足 $ \lim_{t\to 0} t h(t) = 0 $，用以控制学习率的上界。
• 定义 $ \hat{\delta}(x) $ 为任意满足 $ \delta(x) \leq \hat{\delta}(x) \leq h(\|\nabla f(x)\|) $ 且符合 Armijo 条件的值。
• 构建更新规则 $ x_{n+1} = x_n - \hat{\delta}(x_n) \nabla f(x_n) $，使得当梯度较小时学习率可增长。
• 采用离散算法：初始设 $ \delta = \delta_0 $，若 Armijo 条件不成立则按 $ \beta $ 缩减，若 Armijo 条件成立且 $ \delta \leq h(\|\nabla f(x_n)\|) $ 则按 $ 1/\beta $ 增大。
• 利用紧致性论证与 $ h $ 的衰减条件，证明在收敛时必有 $ \|x_{n+1} - x_n\| \to 0 $。
• 应用先前关于鞍点规避与收敛性的研究成果，将分析扩展至具有可数个临界点的 $ C^1 $ 函数。

实验结果

研究问题

• RQ1 当学习率被允许无界增长时，回溯梯度下降是否仍能收敛至临界点？
• RQ2 确保序列 $ \{x_n\} $ 收敛的边界函数 $ h $ 的最慢可能增长速率为何？
• RQ3 所提出的无界回溯 GD 是否在与标准回溯 GD 相同的假设下仍保持收敛保证？
• RQ4 无界回溯 GD 的离散实现能否基于现有理论框架得到合理解释？
• RQ5 条件 $ \lim_{t\to 0} t h(t) = 0 $ 是否为确保 $ \|x_{n+1} - x_n\| \to 0 $ 的最优条件？

主要发现

• 若 $ f $ 的临界点至多可数，则无界回溯 GD 生成的序列 $ \{x_n\} $ 要么收敛至 $ f $ 的临界点，要么发散至无穷远。
• 若 $ f $ 为 $ C^1 $ 且序列 $ \{x_n\} $ 存在聚点，则该聚点必为 $ f $ 的临界点。
• 当 $ n \to \infty $ 时，差值 $ \|x_{n+1} - x_n\| \to 0 $，除非 $ f(x_n) \to -\infty $。
• 由 $ \lim_{t\to 0} t h(t) = 0 $ 定义的 $ h $ 的增长速率，对于确保 $ \{x_n\} $ 收敛而言是最优的。
• 与双向回溯 GD 类似的无界回溯 GD 离散算法，在与先前工作相同的假设下可保证收敛。
• 先前研究中关于鞍点规避的理论结果被推广至无界学习率情形，且无需对 $ \nabla f $ 要求一致的利普希茨常数。