[論文レビュー] First-order Methods Almost Always Avoid Saddle Points

Jason D. Lee, Ioannis Panageas+4 more|arXiv (Cornell University)|Oct 20, 2017

Stochastic Gradient Optimization Techniques参考文献 12被引用数 76

ひとこと要約

この研究は、初期化以外の二次情報や追加の乱数を用いずに、多くの一階最適化法がほとんどすべての初期値に対して厳密な鞍点を回避することを証明します。

ABSTRACT

We establish that first-order methods avoid saddle points for almost all initializations. Our results apply to a wide variety of first-order methods, including gradient descent, block coordinate descent, mirror descent and variants thereof. The connecting thread is that such algorithms can be studied from a dynamical systems perspective in which appropriate instantiations of the Stable Manifold Theorem allow for a global stability analysis. Thus, neither access to second-order derivative information nor randomness beyond initialization is necessary to provably avoid saddle points.

研究の動機と目的

• 鞍点の頻繁さとそれが一階法に与える影響によって非凸最適化を動機づける。
• 既存の勾配降下の解析を広範な一階アルゴリズムのクラスへ一般化する。
• 確率的摂動やヘッセ行列ベースの手法に依存せず、鞍点回避を証明する統一的な枠組みを提供する。

提案手法

• 一階アルゴリズムを写像 g による力学系としてモデル化し、固定点を解析する。
• 安定多様体定理を用いて、厳密な鞍点の全域安定集合が測度0であることを示す。
• 軽度の滑らかさ仮定の下でヤコビ行列の可逆性（det(Dg(x)) ≠ 0）を確立し、測度0の結果を適用できるようにする。
• 主定理を勾配降下法、近端点法、座標降下法、ブロック座標降下法、ミラー降下法に適用する。
• これらの手法に対して厳密な鞍点が不安定な固定点であることを示す。

実験結果

リサーチクエスチョン

• RQ1 軽度の正則性条件の下で、一階法はほとんどすべての初期化に対して厳密な鞍点を回避するか？
• RQ2 勾配降下、近端点、座標降下などの広範なアルゴリズムを力学系で解析して鞍点回避を確立できるか？
• RQ3 更新写像の可逆性（det(Dg(x)) ≠ 0）だけで、鞍点のアトラクターに対する安定多様体型の測度0結果を適用できるか？
• RQ4 この回避は確率的ノイズや二次情報を加えずとも成り立つのか？
• RQ5 標準的な非凸設定における局所最小値への収束にはどんな影響があるのか？

主な発見

• 軽度の正則性条件の下で、一階法はほとんどすべての初期化に対して厳密な鞍点を回避する。
• この結果は勾配降下、近端点、ブロック座標降下法、座標降下法、ミラー降下法に適用される。
• 安定多様体定理を用いた力学系アプローチにより、不安定な固定点の安定集合は測度0となる。
• リプシッツ勾配仮定の下で、厳密な鞍点は勾配降下法および関連手法の不安定な固定点である。
• det(Dg(x)) ≠ 0 が特定された仮定の下で成り立ち、測度0の主張を可能にする。
• この枠組みは、非凸の景観において古典的な一階ヒューリスティクスが局所最小へ収束する理由の統一理論を提供する。