[論文レビュー] Convergence to minima for the continuous version of Backtracking Gradient Descent

Tuyen Trung Truong|arXiv (Cornell University)|Nov 11, 2019

Sparse and Compressive Sensing Techniques参考文献 20被引用数 11

ひとこと要約

この論文は、局所リプシッツ連続な勾配をもつ $ C^1 $ 関数に対して、連続版のバックトラッキング勾配降下法が最小値に収束することを確立している。一般に、ほとんどすべての初期点（Lebesgue測度ゼロの集合を除く）が一般化された鞍点を避けることが証明されている。この手法は、十分な減少を保証し、臨界点に収束するように適応的ステップサイズ $ h(x) \in (0, \delta_0] $ を用いる。弱い正則性条件のもとで、最小値への収束が保証される。

ABSTRACT

The main result of this paper is: {\bf Theorem.} Let $f:\mathbb{R}^k ightarrow \mathbb{R}$ be a $C^{1}$ function, so that $ abla f$ is locally Lipschitz continuous. Assume moreover that $f$ is $C^2$ near its generalised saddle points. Fix real numbers $δ_0>0$ and $0

研究の動機と目的

• 一般の $ C^1 $ 関数に適用可能な、バックトラッキング勾配降下法の連続版の理論的収束保証を確立すること。
• 従来のより強い滑らかさ要件（例：$ C^{2,1}_L $）や固定小ステップサイズを必要としない条件下で、初期点のほとんどが一般化された鞍点を避けることを示すこと。
• 標準勾配降下法を超えて、十分な減少と安定性を保証する滑らかで適応的なステップサイズ関数 $ h(x) $ を導入することで、収束結果を一般化すること。
• バックトラッキングGDの既存の収束理論（モーメンタムやNAGの変種を含む）を、より広い関数クラスに統合・強化すること。
• 深層学習におけるバックトラッキングGDの使用に理論的基盤を提供すること。ここで収束が最小値に、鞍点の回避が訓練の安定性にとって重要である。

提案手法

• すべての $ x \in \mathbb{R}^k $ に対して正で滑らかなステップサイズ関数 $ h: \mathbb{R}^k \to (0, \delta_0] $ を定義し、$ H(x) = x - h(x)\nabla f(x) $ が十分な減少を満たすようにする：$ f(H(x)) - f(x) \leq -\alpha h(x)\|\nabla f(x)\|^2 $。
• 勾配 $ \nabla f $ の連続的かつ局所リプシッツ連続性を用いて $ h(x) $ を構築し、グローバルな $ C^{2,1}_L $ 正則性を必要とせずに、局所的な勾配の挙動に適応するステップサイズを保証する。
• 列 $ x_{n+1} = H(x_n) $ が臨界点に収束するか、無限大に発散するかのいずれかであり、すべてのクラスタ点が $ f $ の臨界点であることを証明する。
• 実射影空間 $ \mathbb{P}^k $ と位相的議論を用いて、一般化された鞍点に収束する初期点の集合がLebesgue測度ゼロであることを示す。
• 局所リプシッツ定数が有界な場合に、離散的バックトラッキングGDおよびモーメンタム・NAGの変種へも同様の枠組みを拡張する。
• 臨界点集合が高々可算個であるという構造的性質を活用し、孤立した鞍点が極限点として現れないように、最小値への収束を強化する。

実験結果

リサーチクエスチョン

• RQ1 局所リプシッツ連続な勾配をもつ $ C^1 $ 関数に対して、連続版のバックトラッキング勾配降下法は一般化された鞍点を避けることができるか？
• RQ2 グローバルな $ C^{2,1}_L $ や強い凸性を仮定せず、適応的ステップサイズ $ h(x) $ が十分な減少と臨界点への収束を保証するか？
• RQ3 この手法のもとで、鞍点に収束する初期点の測度論的性質は何か？
• RQ4 理論的収束保証の観点から、標準GDやWolfeの条件と比べて、この手法はどのように異なるか？
• RQ5 モーメンタムおよびNAGの変種へも同様の枠組みを拡張可能か？ その際、鞍点の回避と最小値への収束は保たれるか？

主な発見

• 任意の局所リプシッツ連続な勾配をもつ $ C^1 $ 関数 $ f $ に対して、$ h(x) \in (0, \delta_0] $ となる滑らかなステップサイズ関数 $ h(x) $ が存在し、$ H(x) = x - h(x)\nabla f(x) $ が十分な減少を満たす：$ f(H(x)) - f(x) \leq -\alpha h(x)\|\nabla f(x)\|^2 $。
• 列 $ x_{n+1} = H(x_n) $ は、臨界点に収束するか、無限大に発散する。すべてのクラスタ点は $ f $ の臨界点である。
• Lebesgue測度ゼロの集合 $ \mathcal{E}_1 \subset \mathbb{R}^k $ が存在し、任意の $ x_0 \in \mathbb{R}^k \setminus \mathcal{E}_1 $ に対して、列が収束するならば、一般化された鞍点に収束することはできない。
• より大きな測度ゼロの集合 $ \mathcal{E}_2 $ が存在し、任意の $ x_0 \in \mathbb{R}^k \setminus \mathcal{E}_2 $ に対して、すべてのクラスタ点は孤立した一般化された鞍点ではない。
• 従来の研究よりも弱い仮定のもとで結果が成り立つ：$ C^1 $ に加え、鞍点付近での $ C^2 $ 性質、グローバルな $ C^{2,1}_L $ や小ステップサイズの必要なし。
• 局所リプシッツ定数が連続関数によって有界である場合、離散的バックトラッキングGD、モーメンタム、NAGの変種へも同様の枠組みを拡張可能であり、鞍点回避と最小値への収束が保たれる。