[論文レビュー] Neon2: Finding Local Minima via First-Order Oracles

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|Nov 17, 2017

Stochastic Gradient Optimization Techniques参考文献 24被引用数 35

ひとこと要約

Neon2は、ヘシアン・ベクタ積を必要とせずに勾配計算のみで近似局所最小値を探索できる、初めての還元手法を提案する。これは、負の曲率探索を1次更新により安定的に近似することで達成され、元のアルゴリズムの計算複雑度を保ちつつ、確率的および決定的設定の両方で局所最小値への収束を可能にする。

ABSTRACT

We propose a reduction for non-convex optimization that can (1) turn an stationary-point finding algorithm into an local-minimum finding one, and (2) replace the Hessian-vector product computations with only gradient computations. It works both in the stochastic and the deterministic settings, without hurting the algorithm's performance. As applications, our reduction turns Natasha2 into a first-order method without hurting its performance. It also converts SGD, GD, SCSG, and SVRG into algorithms finding approximate local minima, outperforming some best known results.

研究の動機と目的

• ヘシアン・ベクタ積を必要とせずに、停留点探索アルゴリズムを局所最小値探索アルゴリズムに変換する手法の開発。
• 元のアルゴリズムと同等の勾配複雑度を維持しつつ、近似局所最小値への収束を保証すること。
• オンラインおよびオフライン設定の両方で、1次法が局所最小値への収束を達成できるようにすること。
• 勾配評価のみを用いて、ヘシアン・ベクタ積の近似を安定的かつ多項式的に小さい誤差で行うこと。

提案手法

• Neon2は、ヘシアン・ベクタ積の計算を、勾配の有限差分による1次近似に置き換える還元手法を提案する。
• 小さな多項式的サイズのステップサイズ q を用いた勾配に基づく更新により、負の曲率探索を近似する『Neon2online』と呼ばれる確率的1次アルゴリズムを導入する。
• 勾配ノルムと負の曲率を各反復で推定し、降下を制御する、修正されたSCSG/SGDフレームワークを用いる。
• 適切なステップサイズとミニバッチサイズの選択により、近似誤差を制御することで安定性を確保する。
• 勾配とヘシアン近似の条件に基づき、標準的勾配降下と負の曲率探索の間で動的に切り替える。
• 多項式的サイズの q に対して近似誤差が制御可能であることを証明し、理論的収束保証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ヘシアンを必要としない局所最小値探索アルゴリズムを、収束速度を損なわずに1次法に変換できるか？
• RQ2 勾配計算のみで負の曲率探索を安定的に近似できるか？
• RQ3 提案された還元手法が、元のアルゴリズムの勾配複雑度を保ちつつ局所最小値への収束を可能にするか？
• RQ4 還元手法が、保証付きでオンラインおよびオフライン設定に適用可能か？
• RQ5 ヘシアン計算を回避する1次オракルのみで局所最小値への収束を達成できるか？

主な発見

• Neon2は、任意の1次停留点探索アルゴリズムを、元のアルゴリズムと同等の勾配複雑度を持つ局所最小値探索法に変換する。
• SGDに対して、Neon2+SGDは、(ε, δ)-近似局所最小値を求めるために、eO((V/ε² + 1)(L²Δf/δ³ + LΔf/ε²)) の勾配複雑度を達成する。
• SCSGに対して、Neon2+SCSGは、eO((LΔf/ε⁴/³V¹/³)(V/ε² + L²/δ²) + LΔf/ε² · L²/δ²) の勾配複雑度を達成する。
• Natasha2に対して、Neon2+Natasha2は、元の複雑度 eO(1/ε³.²⁵) を維持しつつ、局所最小値への収束を達成する。
• アルゴリズムは、高確率で O(L²Δf/δ³ + LΔf/ε²) 回の反復内で終了し、N₁ > N₂ が確率 2/3 以上で成立する。
• 有限差分によるヘシアン・ベクタ積の近似は安定的であり、多項式的に小さい誤差しか導入しない。これにより理論的収束保証が可能になる。