[論文レビュー] Path Length Bounds for Gradient Descent and Flow

Chirag Gupta, Sivaraman Balakrishnan+1 more|arXiv (Cornell University)|Jan 1, 2021

Bone and Joint Diseases被引用数 5

ひとこと要約

本稿は、さまざまな関数クラスにおける勾配降下法（GD）および勾配フロー（GF）の軌道のパス長 $ζ$ に対してタイトな境界を確立し、分離可能で準凸関数では $Θ(\sqrt{d})$、二次関数では $Θ(\min\{\sqrt{d}, \sqrt{\log \kappa}\})$、線形収束率 $(1-c)$ の下では $\mathcal{O}(1/c)$ に比例することを示し、収束速度を超えた理解を進めた。

ABSTRACT

We derive bounds on the path length $\zeta$ of gradient descent (GD) and gradient flow (GF) curves for various classes of smooth convex and nonconvex functions. Among other results, we prove that: (a) if the iterates are linearly convergent with factor $(1-c)$, then $\zeta$ is at most $\mathcal{O}(1/c)$; (b) under the Polyak-Kurdyka-Lojasiewicz (PKL) condition, $\zeta$ is at most $\mathcal{O}(\sqrt{\kappa})$, where $\kappa$ is the condition number, and at least $\widetilde\Omega(\sqrt{d} \wedge \kappa^{1/4})$; (c) for quadratics, $\zeta$ is $\Theta(\min\{\sqrt{d},\sqrt{\log \kappa}\})$ and in some cases can be independent of $\kappa$; (d) assuming just convexity, $\zeta$ can be at most $2^{4d\log d}$; (e) for separable quasiconvex functions, $\zeta$ is ${\Theta}(\sqrt{d})$. Thus, we advance current understanding of the properties of GD and GF curves beyond rates of convergence. We expect our techniques to facilitate future studies for other algorithms.

研究の動機と目的

• 収束速度を超えた GD および GF 軌道の幾何的性質を理解すること。
• 凸、非凸、準凸関数を含む多様な関数クラスにおける GD および GF のパス長の境界を導出すること。
• パス長が次元 $d$、条件数 $\kappa$、収束率 $c$ にどのように依存するかを定量化すること。
• ポリアック＝キュルダカ＝ロジャシエフィッチ（PKL）不等式のような重要な条件下で、パス長のタイトな上界および下界を確立すること。
• 将来のアルゴリズム的考察に応用可能な、最適化における軌道の複雑さを分析する理論的基盤を提供すること。

提案手法

• 目的関数の滑らかさおよび曲率の性質を用いて、GD および GF 軌道のパス長 $\zeta$ の上界および下界を導出する。
• PKL 条件の下で分析を行い、$\zeta$ を条件数 $\kappa$ および次元 $d$ に関連づけ、$\mathcal{O}(\sqrt{\kappa})$ の上界を得る。
• 二次関数に対してはスペクトル解析および固有値分解を用い、$\zeta = \Theta(\min\{\sqrt{d}, \sqrt{\log \kappa}\})$ を導出する。
• 幾何的および測度論的議論を用いて、凸関数に対して一般に $2^{4d\log d}$ の上界を確立する。
• 次元依存のスケーリングおよび方向的パス解析を用いて、分離可能な準凸関数に対して $\zeta = \Theta(\sqrt{d})$ を証明する。
• 収束率 $(1-c)$ の線形収束仮定を活用し、$\zeta = \mathcal{O}(1/c)$ を示し、収束速度と軌道長を結びつける。

実験結果

リサーチクエスチョン

• RQ1 凸および非凸関数において、勾配降下法および勾配フローのパス長 $\zeta$ は次元 $d$ に対してどのようにスケーリングされるか？
• RQ2 ポリアック＝キュルダカ＝ロジャシエフィッチ（PKL）条件の下で、$\zeta$ のタイトな上界および下界は何か？また、条件数 $\kappa$ にどのように依存するか？
• RQ3 二次関数においてパス長はどのように振る舞い、$\kappa$ に依存しない場合があるか？
• RQ4 一般の凸関数に対して、最大のパス長は何か？また、次元 $d$ に対してどのようにスケーリングされるか？
• RQ5 分離可能な準凸関数において、パス長はどのようにスケーリングされ、$\sqrt{d}$ によってタイトに特徴づけられるか？

主な発見

• 線形収束率 $(1-c)$ の下では、パス長 $\zeta$ は $\mathcal{O}(1/c)$ に有界であり、収束係数に逆比例することが示された。
• PKL 条件の下で、$\zeta$ は最大で $\mathcal{O}(\sqrt{\kappa})$ であり、最小で $\widetilde{\Omega}(\sqrt{d} \wedge \kappa^{1/4})$ であることが示され、$\kappa$ および $d$ に対するタイトなスケーリングが確立された。
• 二次関数では $\zeta = \Theta(\min\{\sqrt{d}, \sqrt{\log \kappa}\})$ であり、特定の状況では $\zeta$ は $\kappa$ に依存しない。
• 一般の凸関数では $\zeta$ は最大で $2^{4d\log d}$ であり、次元 $d$ に対して多項式的だが指数的ではない上界である。
• 分離可能な準凸関数では $\zeta = \Theta(\sqrt{d})$ であり、明確な次元依存スケーリングが示された。
• GD および GF 軌道のパス長は、関数の幾何的性質によって本質的に制限されており、収束速度を超えた理解を洗練する境界が得られた。