[論文レビュー] Global Convergence of Stochastic Gradient Hamiltonian Monte Carlo for Non-Convex Stochastic Optimization: Non-Asymptotic Performance Bounds and Momentum-Based Acceleration

Xuefeng Gao, Mert Gürbüzbalaban+1 more|arXiv (Cornell University)|Sep 12, 2018

Markov Chains and Monte Carlo Methods参考文献 93被引用数 31

ひとこと要約

本稿は、非凸確率最適化における2種類のStochastic Gradient Hamiltonian Monte Carlo（SGHMC）の変種について、非漸近的全域収束バウンドを確立する。運動量に基づく加速と明示的な有限時間性能保証（明示的定数を伴う）を活用することで、SGLDと比較してよりタイトな複雑度バウンドを、非凸問題のクラスに対して証明する。

ABSTRACT

Stochastic gradient Hamiltonian Monte Carlo (SGHMC) is a variant of stochastic gradient with momentum where a controlled and properly scaled Gaussian noise is added to the stochastic gradients to steer the iterates towards a global minimum. Many works reported its empirical success in practice for solving stochastic non-convex optimization problems, in particular it has been observed to outperform overdamped Langevin Monte Carlo-based methods such as stochastic gradient Langevin dynamics (SGLD) in many applications. Although asymptotic global convergence properties of SGHMC are well known, its finite-time performance is not well-understood. In this work, we study two variants of SGHMC based on two alternative discretizations of the underdamped Langevin diffusion. We provide finite-time performance bounds for the global convergence of both SGHMC variants for solving stochastic non-convex optimization problems with explicit constants. Our results lead to non-asymptotic guarantees for both population and empirical risk minimization problems. For a fixed target accuracy level, on a class of non-convex problems, we obtain complexity bounds for SGHMC that can be tighter than those for SGLD. These results show that acceleration with momentum is possible in the context of global non-convex optimization.

研究の動機と目的

• SGHMCの有限時間性能に関する理解のギャップを埋めること。SGHMCは実験的に成功しているが、非漸近的理論的保証に欠けている。
• 異なる下撫でられたランジュバンSDEの離散化に基づく2つのSGHMC変種から導かれる、明示的かつ非漸近的な収束バウンドを提供すること。
• 同じターゲット精度下で既存のSGLDのバウンドよりもタイトな、母集団および経験的リスク最小化のための複雑度バウンドを確立すること。
• 運動量およびノイズスケーリングの影響が、非凸確率最適化設定における収束に与える影響を分析すること。
• ロジスティック回帰やReLUネットワークのような一般的な非凸問題において、仮定の検証を通じて理論的主張を検証すること。

提案手法

• 下撫でられたランジュアン拡散SDEの代替離散化に基づく2種類のSGHMC変種を提案し、運動量とノイズの統合方法が異なる。
• リャプノフ関数解析と集中不等式を用いて、期待される最適性ギャップの非漸近的性能バウンドを導出する。
• 勾配およびヘッセ行列の成長条件を弱い滑らかさおよび有界性仮定の下で分析することで、収束バウンドに明示的な定数を導入する。
• ミニバッチサンプリングを用いた確率的勾配推定器を用いて分散を制御し、勾配ノイズの2次のモーメントが有界であることを保証する。
• 標準的なSGLDよりも収束速度を向上させるために、重ボールダイナミクスに類似した運動量ベースの加速機構を適用する。
• 特定の非凸問題（ロジスティック回帰および有界活性化関数を有するReLUベースのモデル）において、必要な仮定の検証を通じて理論フレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 明示的な定数を伴う非漸近的全域収束保証を、非凸確率最適化におけるSGHMCに対して確立できるか？
• RQ2 SGHMCにおける運動量ベースの加速は、SGLDと比較して有限時間収束速度にどのように影響するか？
• RQ3 非凸問題において、与えられたターゲット精度に達するまでの反復回数としてのSGHMCの複雑度バウンドは何か？
• RQ4 提案されたSGHMC変種が、収束複雑度の観点でSGLDを上回る条件は何か？
• RQ5 理論的バウンドは、深層学習や有界活性化を有するロジスティック回帰などの実用的非凸問題に対しても成り立つか？

主な発見

• 本稿は、明示的な定数を伴う2つのSGHMC変種について、非漸近的全域収束バウンドを確立し、有限時間内にグローバル最小値の近傍に収束することを証明する。
• 固定されたターゲット精度下で、特に運動量が適切に調整された場合、SGHMCの複雑度バウンドはSGLDのそれよりも、非凸問題のクラスにおいてタイトである。
• 収束速度は逆温度、ステップサイズ、ノイズスケーリングに依存し、勾配およびヘッセ行列の有界性といった問題パラメータに明示的な依存関係を示す。
• 理論フレームワークはロジスティック回帰およびReLUネットワークにおいて検証され、勾配、ヘッセ行列、ノイズの有界性といった必要な仮定が明示的定数を伴って満たされている。
• 解析により、SGHMCにおける運動量が有効な分散を低減し、収束を加速することが示され、SGLDと比較して反復複雑度が向上することがわかった。
• バウンドは母集団および経験的リスク最小化の両方について導出されており、ミニバッチサイズおよび問題次元に明示的な依存関係を示しており、実用的関連性を保証する。