[论文解读] Path Length Bounds for Gradient Descent and Flow

Chirag Gupta, Sivaraman Balakrishnan+1 more|arXiv (Cornell University)|Jan 1, 2021

Bone and Joint Diseases被引用 5

一句话总结

本文为梯度下降（GD）和梯度流（GF）轨迹的路径长度 $ζ$ 建立了紧致的界，覆盖多种函数类，表明对于可分拟凸函数，路径长度以 $Θ(\sqrt{d})$ 规模缩放；对于二次函数，以 $Θ(\min\{\sqrt{d}, \sqrt{\log \kappa}\})$ 规模缩放；在以 $(1-c)$ 为速率的线性收敛条件下，路径长度为 $\mathcal{O}(1/c)$，从而在收敛速率之外深化了对路径长度的理解。

ABSTRACT

We derive bounds on the path length $\zeta$ of gradient descent (GD) and gradient flow (GF) curves for various classes of smooth convex and nonconvex functions. Among other results, we prove that: (a) if the iterates are linearly convergent with factor $(1-c)$, then $\zeta$ is at most $\mathcal{O}(1/c)$; (b) under the Polyak-Kurdyka-Lojasiewicz (PKL) condition, $\zeta$ is at most $\mathcal{O}(\sqrt{\kappa})$, where $\kappa$ is the condition number, and at least $\widetilde\Omega(\sqrt{d} \wedge \kappa^{1/4})$; (c) for quadratics, $\zeta$ is $\Theta(\min\{\sqrt{d},\sqrt{\log \kappa}\})$ and in some cases can be independent of $\kappa$; (d) assuming just convexity, $\zeta$ can be at most $2^{4d\log d}$; (e) for separable quasiconvex functions, $\zeta$ is ${\Theta}(\sqrt{d})$. Thus, we advance current understanding of the properties of GD and GF curves beyond rates of convergence. We expect our techniques to facilitate future studies for other algorithms.

研究动机与目标

• 理解梯度下降与梯度流轨迹的几何特性，超越收敛速度的范畴。
• 为梯度下降与梯度流在多种函数类（包括凸函数、非凸函数与拟凸函数）下的路径长度推导边界。
• 量化路径长度如何依赖于维度 $d$、条件数 $\kappa$ 与收敛速率 $c$。
• 在如 Polyak-Kurdyka-Lojasiewicz (PKL) 不等式等关键条件下，建立路径长度的紧致上下界。
• 为未来算法研究提供理论基础，以分析优化中轨迹复杂度。

提出的方法

• 利用目标函数的光滑性与曲率性质，推导梯度下降与梯度流轨迹路径长度 $\zeta$ 的上下界。
• 在 PKL 条件下分析路径长度，将 $\zeta$ 与条件数 $\kappa$ 及维度 $d$ 关联，得出 $\mathcal{O}(\sqrt{\kappa})$ 的上界。
• 通过谱分析与特征值分解研究二次函数，推导出 $\zeta = \Theta(\min\{\sqrt{d}, \sqrt{\log \kappa}\})$。
• 利用几何与测度论论证，为凸函数建立一般性上界 $2^{4d\log d}$。
• 通过依赖维度的缩放与方向路径分析，证明可分拟凸函数下 $\zeta = \Theta(\sqrt{d})$。
• 借助收敛速率为 $(1-c)$ 的线性收敛假设，证明 $\zeta = \mathcal{O}(1/c)$，将收敛速度与轨迹长度关联。

实验结果

研究问题

• RQ1 对于凸函数与非凸函数，梯度下降与梯度流的路径长度 $\zeta$ 如何随维度 $d$ 缩放？
• RQ2 在 Polyak-Kurdyka-Lojasiewicz (PKL) 条件下，$\zeta$ 的最紧致上下界为何？其如何依赖于条件数 $\kappa$？
• RQ3 对于二次函数，路径长度的行为如何？是否可能与 $\kappa$ 无关？
• RQ4 对于一般凸函数，最大可能的路径长度是多少？其如何随 $d$ 缩放？
• RQ5 对于可分拟凸函数，路径长度如何缩放？是否被 $\sqrt{d}$ 紧致刻画？

主要发现

• 在以 $(1-c)$ 为速率的线性收敛条件下，路径长度 $\zeta$ 被 $\mathcal{O}(1/c)$ 所界，表明其与收敛因子成反比关系。
• 在 PKL 条件下，$\zeta$ 的上界为 $\mathcal{O}(\sqrt{\kappa})$，下界为 $\widetilde{\Omega}(\sqrt{d} \wedge \kappa^{1/4})$，表明其与 $\kappa$ 和 $d$ 的缩放关系是紧致的。
• 对于二次函数，$\zeta = \Theta(\min\{\sqrt{d}, \sqrt{\log \kappa}\})$，在某些情况下 $\zeta$ 与 $\kappa$ 无关。
• 对于一般凸函数，$\zeta$ 的上界为 $2^{4d\log d}$，为维度 $d$ 的超多项式但次指数界。
• 对于可分拟凸函数，$\zeta = \Theta(\sqrt{d})$，表明其具有清晰的维度依赖缩放特性。
• 梯度下降与梯度流轨迹的路径长度在根本上受函数几何结构的约束，其边界结果深化了对收敛速率之外路径复杂度的理解。