[論文レビュー] Analytical Study of Momentum-Based Acceleration Methods in Paradigmatic High-Dimensional Non-Convex Problems

Stefano Sarao Mannelli, Pierfrancesco Urbani|arXiv (Cornell University)|Feb 23, 2021

Stochastic Gradient Optimization Techniques被引用数 6

ひとこと要約

本稿は、動的平均場理論を用いて、スパiked行列-テンソルモデルにおける高次元非凸な最適化領域において、運動量に基づく最適化手法（Heavy BallおよびNesterov加速）を解析的に研究している。平均的ダイナミクスの閉形式式を導出し、これらの手法が収束を加速することは確認できるが、信号回復のアルゴリズム的閾値を、単純な勾配降下法を超えて改善しないことが判明した。

ABSTRACT

The optimization step in many machine learning problems rarely relies on vanilla gradient descent but it is common practice to use momentum-based accelerated methods. Despite these algorithms being widely applied to arbitrary loss functions, their behaviour in generically non-convex, high dimensional landscapes is poorly understood. In this work, we use dynamical mean field theory techniques to describe analytically the average dynamics of these methods in a prototypical non-convex model: the (spiked) matrix-tensor model. We derive a closed set of equations that describe the behaviour of heavy-ball momentum and Nesterov acceleration in the infinite dimensional limit. By numerical integration of these equations, we observe that these methods speed up the dynamics but do not improve the algorithmic threshold with respect to gradient descent in the spiked model.

研究の動機と目的

• 高次元非凸な最適化領域における運動量に基づく最適化手法の平均的ダイナミクスを理解すること。
• Heavy BallおよびNesterov加速が、推定問題における信号回復のアルゴリズム的閾値を改善するかどうかを分析すること。
• 無限次元極限における運動量手法の状態遷移方程式を導出するために、動的平均場理論を適用すること。
• 収束速度および回復閾値の観点から、加速手法と単純な勾配降下法の性能を比較すること。
• 異なる最適化アルゴリズム下でのスパiked行列-テンソルモデルにおける相転移行動を特徴付けること。

提案手法

• 動的平均場理論（DMFT）を用いて、運動量に基づく手法の平均的ダイナミクスを記述する、閉じた連立常微分方程式系を導出する。
• 代表的な非凸推定問題としてのスパiked行列-テンソルモデルにその形式を適用する。
• 相関関数 $ C_x(t,t') $, $ C_v(t,t') $, $ R_v(t,t') $, および $ R_{x|v}(t,t') $ の時間発展方程式を導出し、システムの状態の時間的変化を捉える。
• 時間に依存するラグランジュ乗数 $ \mu(t) $ を用いて球面制約を組み込み、解が半径 $ \sqrt{N} $ の球面上に保たれることを保証する。
• 導出された状態遷移方程式を数値的に統合し、収束性および回復閾値を検証する。
• 厳密な導出に用いるために、質量付き（下動的）および質量なし（上動的）の両方のダイナミクス定式化を検討する。

実験結果

リサーチクエスチョン

• RQ1 Heavy BallおよびNesterov加速は、高次元非凸最適化領域における平均的ダイナミクスをどのように変化させるか？
• RQ2 運動量に基づく手法は、スパiked行列-テンソルモデルにおいて、勾配降下法と比較して信号回復のアルゴリズム的閾値を改善するか？
• RQ3 慣性および運動量は、複数の局所的最小値を有する複雑な非凸エネルギー障壁を越える際に果たす役割は何か？
• RQ4 球面制約は、加速最適化手法の収束行動にどのように影響を与えるか？
• RQ5 信号対雑音比に依存する回復閾値における相転移は存在するか？また、異なるアルゴリズムはこの閾値でどのように比較されるか？

主な発見

• 導出された状態遷移方程式は、無限次元極限におけるHeavy BallおよびNesterov加速の平均的ダイナミクスを完全に解析的に記述している。
• 運動量に基づく手法は、非凸領域において収束を顕著に加速し、信号の吸引域に到達するまでの時間を短くする。
• 速やかな収束にもかかわらず、Heavy BallおよびNesterov手法は、単純な勾配降下法と比較して信号回復のアルゴリズム的閾値を改善しない。
• アルゴリズム的閾値（成功した回復に必要な最小の信号対雑音比）は、勾配降下法、Heavy Ball、Nesterov加速の三者で同一である。
• システムは二つのダイナミクス的状態に分かれる：遅い非凸的探索段階と、信号対雑音比が閾値を超えた後の急激な収束段階。
• 球面制約は、ダイナミクスを球面上に維持するために不可欠であり、時間に依存するラグランジュ乗数 $ \mu(t) $ を通じて自然に導出される。