[论文解读] Convergence to minima for the continuous version of Backtracking Gradient Descent

Tuyen Trung Truong|arXiv (Cornell University)|Nov 11, 2019

Sparse and Compressive Sensing Techniques参考文献 20被引用 11

一句话总结

本文在 $ C^1 $ 函数且梯度局部利普希茨连续的条件下，建立了连续版本回溯梯度下降法收敛至极小值的结论，证明了几乎所有初始点（除勒贝格测度为零的集合外）均可避免广义鞍点。该方法采用自适应步长 $ h(x) \in (0, \delta_0] $，确保充分下降并收敛至临界点，且在较弱的正则性条件下可保证收敛至极小值。

ABSTRACT

The main result of this paper is: {\bf Theorem.} Let $f:\mathbb{R}^k ightarrow \mathbb{R}$ be a $C^{1}$ function, so that $ abla f$ is locally Lipschitz continuous. Assume moreover that $f$ is $C^2$ near its generalised saddle points. Fix real numbers $δ_0>0$ and $0

研究动机与目标

• 建立一般 $ C^1 $ 函数（梯度局部利普希茨连续）上连续回溯梯度下降法的理论收敛保证。
• 证明该方法对几乎所有初始点均可避免广义鞍点，扩展了以往需更强光滑性（如 $ C^{2,1}_L $）和固定小步长的研究结果。
• 通过引入平滑且自适应的步长函数 $ h(x) $，将收敛结果推广至标准梯度下降之外，确保充分下降与稳定性。
• 在更广的函数类上统一并强化现有回溯梯度下降法的收敛理论，包括带动量和NAG变体。
• 为深度学习中使用回溯梯度下降法提供理论基础，其中收敛至极小值及避免鞍点对训练稳定性至关重要。

提出的方法

• 定义一个光滑且正的步长函数 $ h: \mathbb{R}^k \to (0, \delta_0] $，使得 $ H(x) = x - h(x)\nabla f(x) $ 满足充分下降条件：$ f(H(x)) - f(x) \leq -\alpha h(x)\|\nabla f(x)\|^2 $。
• 利用 $ \nabla f $ 的连续性与局部利普希茨条件构造 $ h(x) $，确保步长能自适应于局部梯度行为，而无需全局 $ C^{2,1}_L $ 正则性。
• 证明序列 $ x_{n+1} = H(x_n) $ 要么收敛至临界点，要么发散至无穷远，且所有聚点均为临界点。
• 利用实射影空间 $ \mathbb{P}^k $ 与拓扑论证，证明收敛至广义鞍点的初始点集合的勒贝格测度为零。
• 在 $ \nabla f $ 的局部利普希茨常数有界时，将结果推广至离散回溯梯度下降法，并通过同一框架扩展至动量与NAG变体。
• 利用临界点集（至多可数个）的结构，强化收敛至极小值的结果，排除孤立鞍点作为极限点的可能性。

实验结果

研究问题

• RQ1 对于梯度局部利普希茨连续的 $ C^1 $ 函数，连续版本的回溯梯度下降法能否避免广义鞍点？
• RQ2 自适应步长 $ h(x) $ 是否可在不依赖全局 $ C^{2,1}_L $ 或强凸性假设下，确保充分下降并收敛至临界点？
• RQ3 在该方法下，收敛至鞍点的初始点的测度性质如何？
• RQ4 与标准梯度下降法及沃尔夫条件相比，该方法在理论收敛保证方面有何差异？
• RQ5 该框架能否扩展至动量与NAG变体，同时保持对鞍点的避免与收敛至极小值的性质？

主要发现

• 对于任意 $ C^1 $ 函数 $ f $，其梯度局部利普希茨连续，则存在一个光滑的步长函数 $ h(x) \in (0, \delta_0] $，使得 $ H(x) = x - h(x)\nabla f(x) $ 满足充分下降条件：$ f(H(x)) - f(x) \leq -\alpha h(x)\|\nabla f(x)\|^2 $。
• 序列 $ x_{n+1} = H(x_n) $ 要么收敛至临界点，要么发散至无穷远；所有聚点均为 $ f $ 的临界点。
• 存在一个勒贝格测度为零的集合 $ \mathcal{E}_1 \subset \mathbb{R}^k $，使得对所有 $ x_0 \in \mathbb{R}^k \setminus \mathcal{E}_1 $，若序列收敛，则不可能收敛至广义鞍点。
• 存在一个更大的测度为零的集合 $ \mathcal{E}_2 $，使得对所有 $ x_0 \in \mathbb{R}^k \setminus \mathcal{E}_2 $，其任何聚点均不是孤立的广义鞍点。
• 该结果在弱于以往工作的假设下成立：仅需 $ C^1 $ 且梯度在鞍点附近为 $ C^2 $，无需全局 $ C^{2,1}_L $ 或固定小步长。
• 该框架可推广至离散回溯梯度下降法、动量与NAG变体，当 $ \nabla f $ 的局部利普希茨常数有界且为连续函数时，仍保持对鞍点的避免与收敛至极小值的性质。