[論文レビュー] Efficiently avoiding saddle points with zero order methods: No gradients required

Lampros Flokas, Emmanouil-Vasileios Vlatakis-Gkaragkounis+1 more|arXiv (Cornell University)|Oct 29, 2019

Stochastic Gradient Optimization Techniques参考文献 39被引用数 7

ひとこと要約

本稿では、勾配情報が不要な非凸最適化において鞍点を効率的に回避するゼロ階層最適化手法を提示する。ノイズを含む近似勾配推定と安定多様体定理に基づく解析を組み合わせることで、唯一の関数評価回数 $ ilde{ olimits}(1/ olimits^2)$ を用いて第二階層停留点に収束する。これは勾配情報が必要な一次手法と同等の収束速度を達成し、次元依存の遅れを回避する。

ABSTRACT

We consider the case of derivative-free algorithms for non-convex optimization, also known as zero order algorithms, that use only function evaluations rather than gradients. For a wide variety of gradient approximators based on finite differences, we establish asymptotic convergence to second order stationary points using a carefully tailored application of the Stable Manifold Theorem. Regarding efficiency, we introduce a noisy zero-order method that converges to second order stationary points, i.e avoids saddle points. Our algorithm uses only $ ilde{\mathcal{O}}(1 / ε^2)$ approximate gradient calculations and, thus, it matches the converge rate guarantees of their exact gradient counterparts up to constants. In contrast to previous work, our convergence rate analysis avoids imposing additional dimension dependent slowdowns in the number of iterations required for non-convex zero order optimization.

研究の動機と目的

• 勾配が得られず、または計算が困難な状況における非凸最適化の課題に対処すること。
• 厳密な鞍点を確実に回避し、第二階層停留点（SOSPs）に収束するゼロ階層手法を開発すること。
• 関数評価回数の観点から一次手法の収束速度に一致させ、次元依存の遅れを回避すること。
• ゼロ階層アルゴリズムに向けた安定多様体定理の洗練された応用を用いて、漸近的収束保証を確立すること。

提案手法

• 関数評価からの差分を用いて勾配を近似するノイズを含むゼロ階層手法を採用する。
• 安定多様体定理を活用して摂動戦略を適用し、鞍点からの脱出を実現する。
• 収束確率を高めるために、適切に設計されたステップサイズとノイズレベルを用いる。
• ゼロ階層反復に安定多様体定理を新規に応用することで収束を解析する。
• 関数評価回数を $\tilde{\mathcal{O}}(d/\epsilon^2)$ に制限し、一次手法の効率性を再現する。
• 勾配情報なしで鞍点からの脱出を分析する理論的枠組みを導入する。

実験結果

リサーチクエスチョン

• RQ1 勾配アクセスなしでゼロ階層手法が非凸最適化において鞍点を効率的に回避できるか？
• RQ2 関数評価のみで第二階層停留点への収束が達成可能か？
• RQ3 ゼロ階層手法の収束速度が関数評価の観点から一次手法と一致できるか？
• RQ4 提案手法は、従来のゼロ階層手法に見られる次元依存の遅れを回避できるか？
• RQ5 安定多様体定理はゼロ階層最適化ダイナミクスの解析に効果的に適用可能か？

主な発見

• 提案手法は漸近的に第二階層停留点に収束し、厳密な鞍点を回避する。
• 一次手法と同等の速度で、唯一 $\tilde{\mathcal{O}}(1/\epsilon^2)$ の近似勾配評価回数を要する。
• 関数評価回数は $\tilde{\mathcal{O}}(d/\epsilon^2)$ であり、信頼領域法の $\tilde{\mathcal{O}}(d^4/\epsilon^4)$ のコストを回避する。
• 鞍点周辺の摂動と安定多様体上の体積的議論を活用することで、高い確率 $1 - \delta$ で収束を達成する。
• 従来の手法とは異なり、次元依存の遅れを回避する。過去の研究では $\tilde{\mathcal{O}}(d/\epsilon^2)$ の反復回数と高い関数評価コストを伴う。
• ノイズを含むゼロ階層反復に安定多様体定理を洗練された形で応用することで、理論的保証を確立した。