[論文レビュー] Stochastic optimization with momentum: convergence, fluctuations, and traps avoidance

Anas Barakat, Pascal Bianchi+2 more|arXiv (Cornell University)|Dec 7, 2020

Stochastic Gradient Optimization Techniques参考文献 18被引用数 10

ひとこと要約

本稿は、S-NAG や Adam といったモーメンタム付き確率的最適化アルゴリズムを、非斉次常微分方程式（ODE）のノイズ付きオイラー離散化としてモデル化することで統一的に扱う。非凸設定において、解が臨界点にほとんど確実に収束すること、収束速度の中心極限定理が確立されること、および弱いノイズ条件のもとで局所的最大値やへそ状の臨界点をほとんど確実に避けることが示され、新規の非斉次型ポincare型不変多様体定理を用いて証明される。

ABSTRACT

In this paper, a general stochastic optimization procedure is studied, unifying several variants of the stochastic gradient descent such as, among others, the stochastic heavy ball method, the Stochastic Nesterov Accelerated Gradient algorithm (S-NAG), and the widely used Adam algorithm. The algorithm is seen as a noisy Euler discretization of a non-autonomous ordinary differential equation, recently introduced by Belotto da Silva and Gazeau, which is analyzed in depth. Assuming that the objective function is non-convex and differentiable, the stability and the almost sure convergence of the iterates to the set of critical points are established. A noteworthy special case is the convergence proof of S-NAG in a non-convex setting. Under some assumptions, the convergence rate is provided under the form of a Central Limit Theorem. Finally, the non-convergence of the algorithm to undesired critical points, such as local maxima or saddle points, is established. Here, the main ingredient is a new avoidance of traps result for non-autonomous settings, which is of independent interest.

研究の動機と目的

• モーメンタムに基づく確率的最適化アルゴリズム（S-NAG や Adam を含む）の非凸設定における漸近的挙動を統一的に分析すること。
• 目的関数の臨界点への反復のほとんど確実な収束を確立すること。
• 適切な正則性条件の下で収束速度を中央極限定理を用いて導出すること。
• 一般のノイズ仮定のもとで、望ましくない臨界点（局所的最大値やへそ状の臨界点）への収束をほとんど確実に回避することを証明すること。
• 非斉次力学系に応用可能な、陥落回避のための新しい理論的枠組みを構築すること。

提案手法

• Belotto da Silva と Gazeau が最近導入した非斉次常微分方程式（ODE）のノイズ付きオイラー離散化として、モーメンタムに基づく確率的アルゴリズムをモデル化する。
• 連続時間 ODE の解析を通じて、解の存在・一意性および目的関数の臨界点集合への収束を確立する。
• 非斉次版の Poincaré の不変多様体定理を用いて、一般のノイズ励起のもとで陥落（局所的最大値やへそ状の臨界点）を回避することを証明する。
• ステップサイズ列およびノイズ構造に関する仮定のもとで、収束速度を中央極限定理を用いて確立する。
• 勾配、モーメンタム、学習率の更新に関するモデル固有の条件を満たすかを検証することで、一般枠組みが S-NAG や Adam などの特定のアルゴリズムに適用可能であることを確認する。
• 臨界点におけるヘッセ行列の固有値解析とノイズ共分散構造を活用し、不安定方向における非退化拡散を保証する。

実験結果

リサーチクエスチョン

• RQ1 非凸設定におけるモーメンタムに基づく確率的最適化アルゴリズムの収束性と安定性を統一的に分析する理論的枠組みを構築することは可能か？
• RQ2 目的関数が非凸である場合、確率的ネステロフ加速勾配（S-NAG）アルゴリズムはほとんど確実に臨界点に収束するか？
• RQ3 モーメンタムに基づくアルゴリズムは、非凸最適化においてどのような条件下で局所的最大値やへそ状の臨界点への収束を避けるのか？
• RQ4 一般のノイズおよびステップサイズ仮定のもとで、このようなアルゴリズムの収束速度は中央極限定理によって特徴付けられるか？
• RQ5 非斉次力学系への陥落回避結果を、自律的系から非自律的系へ一般化することは可能か？

主な発見

• 弱い正則性およびステップサイズ条件のもとで、一般のモーメンタム付き確率的最適化アルゴリズムの反復は、目的関数の臨界点集合にほとんど確実に収束する。
• 本稿は、非凸設定における確率的ネステロフ加速勾配（S-NAG）アルゴリズムの最初のほとんど確実な収束結果を提供する。
• 追加の仮定のもとで、収束速度は中央極限定理によって特徴付けられ、臨界点まわりの反復が漸近的に正規分布に従うことが示される。
• 負の曲率方向に十分に励起されたノイズが存在する場合、アルゴリズムは局所的最大値およびへそ状の臨界点をほとんど確実に避ける。
• 非斉次版の Poincaré の不変多様体定理を新たに開発し、陥落回避の証明に用いた。この定理は、独立した理論的関心をもつ。
• 勾配ノイズと学習率ダイナミクスに関する必要な条件を満たすため、理論的枠組みは Adam や他の適応的アルゴリズムにも成功裏に適用可能である。