[論文レビュー] Stochastic Heavy Ball

Sébastien Gadat, Fabien Panloup+1 more|arXiv (Cornell University)|Sep 14, 2016

Stochastic Gradient Optimization Techniques参考文献 26被引用数 7

ひとこと要約

本稿は、勾配更新にモーメンタムとノイズを組み込んだ2次最適化アルゴリズムとしての確率的ヘヴィボール法を導入し、分析する。非凸かつ強制的関数に対してほとんど確実な収束を確立し、凸および強い凸の場合の非漸近的収束速度を導出し、ガウスノイズ仮定の下でのスケーリング過程の極限定理を提示する。これにより、機械学習および大規模設定における確率的モーメンタムベース最適化の理論的保証が得られる。

ABSTRACT

This paper deals with a natural stochastic optimization procedure derived from the so-called Heavy-ball method differential equation, which was introduced by Polyak in the 1960s with his seminal contribution [Pol64]. The Heavy-ball method is a second-order dynamics that was investigated to minimize convex functions f . The family of second-order methods recently received a large amount of attention, until the famous contribution of Nesterov [Nes83], leading to the explosion of large-scale optimization problems. This work provides an in-depth description of the stochastic heavy-ball method, which is an adaptation of the deterministic one when only unbiased evalutions of the gradient are available and used throughout the iterations of the algorithm. We first describe some almost sure convergence results in the case of general non-convex coercive functions f . We then examine the situation of convex and strongly convex potentials and derive some non-asymptotic results about the stochastic heavy-ball method. We end our study with limit theorems on several rescaled algorithms.

研究の動機と目的

• ノイズ勾配を伴う設定へのポリャクの決定的2次最適化法の拡張として、確率的ヘヴィボール法の厳密な理論的枠組みを構築すること。
• 一般の非凸的かつ強制的な関数を最小化する際、確率的ヘヴィボール反復がほとんど確実に臨界点に収束することを確立すること。
• 強い凸および凸の場合における確率的ヘヴィボール法の非漸近的収束速度を導出すること。
• 時間スケーリングされたバージョンのアルゴリズムの漸近的挙動を極限定理を用いて調査すること、特にガウスノイズ仮定下での解析を含む。
• 決定的2次ダイナミクスとその確率的類似物との間のギャップを埋めること、特にネステロフの加速法およびモーメンタムベース最適化との関連を明らかにすること。

提案手法

• 摩擦を伴う2次微分方程式に基づく決定的ヘヴィボール法を、各反復で不偏勾配推定値しか得られない確率的設定に適応する。
• 時間依存のステップサイズ $ \gamma_k $、モーメンタムパラメータ $ \theta_k $、ノイズ項を含む形式 $ X_{k+1} = X_k + \theta_k (X_k - X_{k-1}) - \beta_k \nabla f(X_k) + \text{noise} $ の再帰的確率的アルゴリズムを採用する。
• ノイズの2次モーメントを制御するため、チェビシェフ不等式とメジアンセンターイングを用い、サブガウスまたは有界分散（例：$ \mathbb{E}[\xi_{k}^2] \leq \sigma^2 $）を仮定する。
• インデックス集合 $ \mathcal{T}_n = \{n, n+1, \dots\} $ におけるチェインジングを適用し、経験過程 $ \sup_{k \geq n} \gamma_k^2 \|Z_k\|^2 $ の上界を制御する。ここで $ Z_k \sim \mathcal{N}(0, \sigma^2 I_d) $ である。
• カイ二乗分布に類似た確率変数のラプラス変換推定を用いてモーメントバウンドを導出し、疑似距離 $ d(i,j) = |\gamma_i^2 - \gamma_j^2| $ に対して不等式 $ \log \mathbb{E} e^{\lambda (X_i - X_j)} \lesssim a\lambda d(i,j) + \frac{v\lambda^2 d^2(i,j)}{2(1 - c\lambda d(i,j))} $ を利用する。
• 文献[BLM13]の補題32を適用し、被覆数 $ N(\epsilon, \mathcal{T}_n) $ を用いてプロセスの期待上界をバウンドし、べき則的ステップサイズ $ \gamma_k = \gamma k^{-\nu} $ の下で $ \gamma_n^2 \log(\gamma_n^{-2}) $ のオーダーのバウンドが得られる。

実験結果

リサーチクエスチョン

• RQ1 一般の非凸的かつ強制的な関数に対して、確率的ヘヴィボール法はほとんど確実に臨界点に収束するか？
• RQ2 凸および強い凸設定下で、確率的ヘヴィボール法に非漸近的収束速度をどのように確立できるか？
• RQ3 時間スケーリング下での反復はどのように振る舞い、スケーリング過程の漸近的分布を支配する極限定理は何か？
• RQ4 特にノイズがガウス分布に従う場合に、確率的ヘヴィボール法は最適な収束速度を達成できるか？
• RQ5 モーメンタムとステップサイズの系列は、確率的アルゴリズムの分散と収束を制御するために果たす役割は何か？

主な発見

• 勾配ノイズの弱いモーメントおよび正則性仮定の下で、非凸的かつ強制的な関数に対して、確率的ヘヴィボール法は臨界点にほとんど確実に収束する。
• 強い凸関数に対しては、期待二乗距離が最小値点から $ \gamma_n^2 \log(\gamma_n^{-2}) $ の割合で減少する非漸近的収束速度が導出され、これはステップサイズ系列に依存する。
• ガウスノイズ仮定下で、プロセス $ \sup_{k \geq n} \gamma_k^2 \|Z_k\|^2 $ のモーメントバウンドが確立され、尾部挙動が普遍定数を除き $ \gamma_n^2 \log(\gamma_n^{-2}) $ で制御されることを示している。
• ステップサイズ $ \gamma_k = \gamma k^{-\nu} $ の下で、疑似距離 $ d(i,j) = |\gamma_i^2 - \gamma_j^2| $ におけるインデックス集合 $ \mathcal{T}_n $ の被覆数は $ \sim \epsilon^{-1/2\nu} $ で有界であり、これによりチェインジングが可能となる。
• チェインジングにより、経験過程の期待上界が $ \gamma_n^2 \log(\gamma_n^{-2}) $ のオーダーでバウンドされ、与えられた仮定のもとでタイトであることが示された。
• 解析により、確率的ヘヴィボール法が決定的対応物から好ましい性質（モーメンタム駆動加速）を引き継いでいることが確認された。