[论文解读] Asymptotic behaviour of learning rates in Armijo's condition

Tuyen Trung Truong, Tuan Hang Nguyen|arXiv (Cornell University)|Jul 7, 2020

Stochastic Gradient Optimization Techniques参考文献 5被引用 5

一句话总结

本文分析了在回溯梯度下降（Backtracking Gradient Descent）中，Armijo 条件下学习率的渐近行为。证明了若序列收敛至非退化临界点，则学习率必须有界，且给出了基于极限点处 Hessian 算子范数及其逆的显式定量边界。这表明在非退化极小点附近，无界回溯 GD 的行为类似于标准回溯 GD，但在退化点附近则表现出显著差异。

ABSTRACT

Fix a constant $00$, we say that Armijo's condition is satisfied if $f(x-δ abla f(x))-f(x)\leq -αδ|| abla f(x)||^2$. It is a basis for the well known Backtracking Gradient Descent (Backtracking GD) algorithm. Consider a sequence $\{x_n\}$ defined by $x_{n+1}=x_n-δ_n abla f(x_n)$, for positive numbers $δ_n$ for which Armijo's condition is satisfied. We show that if $\{x_n\}$ converges to a non-degenerate critical point, then $\{δ_n\}$ must be bounded. Moreover this boundedness can be quantified in terms of the norms of the Hessian $ abla ^2f$ and its inverse at the limit point. This complements the first author's results on Unbounded Backtracking GD, and shows that in case of convergence to a non-degenerate critical point the behaviour of Unbounded Backtracking GD is not too different from that of usual Backtracking GD. On the other hand, in case of convergence to a degenerate critical point the behaviours can be very much different. We run some experiments to illustrate that both scenrios can really happen. In another part of the paper, we argue that Backtracking GD has the correct unit (according to a definition by Zeiler in his Adadelta's paper). The main point is that since learning rate in Backtracking GD is bound by Armijo's condition, it is not unitless.

研究动机与目标

• 研究在无界回溯 GD 中，学习率是否可在收敛至非退化临界点时趋于无穷大。
• 比较无界回溯 GD 与标准回溯 GD 在收敛至非退化与退化临界点时，学习率的渐近行为。
• 基于物理量纲分析，建立回溯 GD 的单位正确性，以解决标准方法与自适应方法的关键局限。
• 为回溯 GD 在 Armijo 条件下的收敛行为提供理论依据，尤其关注极限点处 Hessian 的性质。

提出的方法

• 利用函数 $f$ 和 $\nabla f$ 在非退化临界点 $x_\infty$ 附近的泰勒展开，推导 $f(x_n) - f(x_\infty)$ 与 $\|\nabla f(x_n)\|$ 的渐近估计。
• 应用 Armijo 条件 $f(x_n - \delta_n \nabla f(x_n)) - f(x_n) \leq -\alpha \delta_n \|\nabla f(x_n)\|^2$，推导 $\delta_n$ 的上界。
• 采用 Hessian $\nabla^2 f(x_\infty)$ 及其逆的算子范数估计，量化 $\delta_n$ 的上界。
• 通过量纲一致性进行单位分析：表明 $\delta(x_n)$ 的单位为 $\text{Unit}(x)^2 / \text{Unit}(f)$，且 Armijo 条件仅在 $\alpha$ 无量纲时单位正确。
• 比较回溯 GD 与标准 GD、动量法、Adagrad、牛顿法及递减 GD 在单位正确性方面的表现。
• 通过数值实验说明，实际中学习率的有界或无界行为取决于临界点的性质。

实验结果

研究问题

• RQ1 在无界回溯 GD 中，学习率是否可在序列收敛至非退化临界点时趋于无穷大？
• RQ2 学习率 $\delta_n$ 的定量上界如何以极限点处的 Hessian 及其逆表示？
• RQ3 当收敛至退化与非退化临界点时，无界回溯 GD 与标准回溯 GD 的行为有何不同？
• RQ4 根据 Zeiler 的单位分析，回溯 GD 是否具有单位正确性？与其他优化方法相比如何？
• RQ5 回溯 GD 中的学习率能否独立于函数尺度选择？这对收敛性与稳定性有何影响？

主要发现

• 若由 $x_{n+1} = x_n - \delta_n \nabla f(x_n)$ 定义的序列 $\{x_n\}$ 满足 Armijo 条件并收敛至非退化临界点，则 $\delta_n$ 必须有界。
• 对足够大的 $n$，$\delta_n$ 的上界由 $\|\nabla^2 f(x_\infty)\|$ 与 $\|\nabla^2 f(x_\infty)^{-1}\|$ 控制，满足 $\alpha \delta_n \leq \frac{1}{2}(\|\nabla^2 f(x_\infty)\| + \epsilon)(\|\nabla^2 f(x_\infty)^{-1}\| + \epsilon)^2$。
• 相比之下，当收敛至退化临界点时，无界回溯 GD 中的学习率可无界增长，表明其行为存在根本性差异。
• 回溯 GD 具有正确的单位：学习率 $\delta(x_n)$ 的单位为 $\text{Unit}(x)^2 / \text{Unit}(f)$，且 Armijo 条件仅在 $\alpha$ 无量纲时单位正确。
• 标准 GD 与递减 GD 不具备正确单位，而牛顿法具有正确单位，但不能保证是下降方法。
• 标准 GD 中选择 $\delta_0 = 1/L$（$L$ 为 $\nabla f$ 的利普希茨常数）可实现单位正确性，且此类方法是回溯 GD 的特例。