[論文レビュー] Revisiting Normalized Gradient Descent: Evasion of Saddle Points

Ryan Murray, Brian Swenson+1 more|arXiv (Cornell University)|Nov 14, 2017

Advanced Optimization Algorithms Research参考文献 22被引用数 3

ひとこと要約

本稿は連続時間における正規化勾配降下法（NGD）を分析し、非退化した鞍点からの脱出が、次元やヘッセ行列の条件数に依存せず、近傍の直径に比例する時間内に迅速に行われることを証明している。主な貢献は、次元や条件数に依存しない鞍点脱出時間の上界を確立することにある。

ABSTRACT

The note considers normalized gradient descent (NGD), a natural modification of gradient descent in optimization problems. The work focuses on continuous time descent. The main result provides an upper bound on the time spent by NGD near saddle points. In particular, it is shown that the time required for NGD to escape from the neighborhood of (non-degenerate) saddle points is always fast (proportional to the diameter of the neighborhood) and independent of both the dimension of the problem and the conditioning of the Hessian at the saddle point.

研究の動機と目的

• 連続時間最適化における正規化勾配降下法（NGD）の鞍点近傍での挙動を分析すること。
• NGDが非凸最適化における主要な障害である鞍点を効率的に脱出できるかどうかを理解すること。
• NGDが鞍点近傍に費やす時間の理論的上界を確立すること。
• この脱出時間が問題の次元や鞍点におけるヘッセ行列の条件数に依存するかどうかを特定すること。

提案手法

• 力学系理論を用いて連続時間におけるNGDを分析する。
• ヘッセ行列の固有値がすべて非ゼロである非退化鞍点に焦点を当てる。
• NGDが鞍点近傍にとどまる時間の上界を導出する。
• 幾何的およびリャプノフ型の議論を用いて、脱出が次元に依存せず高速に行われることを示す。
• 鞍点におけるヘッセ行列の条件数を検討し、それが脱出時間に影響しないことを示す。
• 上界が次元や条件数に依存せず、近傍の直径にのみ依存することを確立する。

実験結果

リサーチクエスチョン

• RQ1 正規化勾配降下法は非退化鞍点を有限時間で脱出できるか？ もしそうなら、どの程度の速さか？
• RQ2 NGDの脱出時間は最適化問題の次元に依存するか？
• RQ3 鞍点におけるヘッセ行列の条件数は、NGDがその周囲に費やす時間に影響するか？
• RQ4 NGDの鞍点脱出時間に対して、次元に依存せず条件数に依存しない上界を確立できるか？
• RQ5 NGDの鞍点近傍での挙動は、標準勾配降下法と比較して、脱出ダイナミクスにおいてどのように異なるか？

主な発見

• NGDは、鞍点周囲の近傍の直径に比例する時間で非退化鞍点を脱出する。
• 脱出時間は問題の次元に依存しないため、高次元問題であっても脱出が遅くはならない。
• 脱出時間は、鞍点におけるヘッセ行列の条件数にも依存しない。
• 脱出時間の上界はタイトであり、問題の複雑さが増しても劣化しない。
• NGDは、条件数が悪いあるいは高次元の状況でも、高速かつ頑健に鞍点から脱出する。
• 連続時間解析のもとでこの結果が成り立つため、非凸最適化におけるNGDの実験的頑健性に理論的裏付けが与えられる。