[論文レビュー] Global Convergence of Langevin Dynamics Based Algorithms for Nonconvex Optimization

Pan Xu, Jinghui Chen+2 more|arXiv (Cornell University)|Jul 20, 2017

Stochastic Gradient Optimization Techniques参考文献 50被引用数 86

ひとこと要約

この論文は、GLD、SGLD、SVRG-LDに対する非漸近的な統一分析を提供し、非凸な有限和最適化における全局収束保証と、ほぼ最適解へ到達するための勾配計算の複雑さを改善したことを示す。

ABSTRACT

We present a unified framework to analyze the global convergence of Langevin dynamics based algorithms for nonconvex finite-sum optimization with $n$ component functions. At the core of our analysis is a direct analysis of the ergodicity of the numerical approximations to Langevin dynamics, which leads to faster convergence rates. Specifically, we show that gradient Langevin dynamics (GLD) and stochastic gradient Langevin dynamics (SGLD) converge to the almost minimizer within $\ ilde O\\big(nd/(\\lambda\\epsilon) \\big)$ and $\ ilde O\\big(d^7/(\\lambda^5\\epsilon^5) \\big)$ stochastic gradient evaluations respectively, where $d$ is the problem dimension, and $\\lambda$ is the spectral gap of the Markov chain generated by GLD. Both results improve upon the best known gradient complexity results (Raginsky et al., 2017). Furthermore, for the first time we prove the global convergence guarantee for variance reduced stochastic gradient Langevin dynamics (SVRG-LD) to the almost minimizer within $\ ilde O\\big(\\sqrt{n}d^5/(\\lambda^4\\epsilon^{5/2})\\big)$ stochastic gradient evaluations, which outperforms the gradient complexities of GLD and SGLD in a wide regime. Our theoretical analyses shed some light on using Langevin dynamics based algorithms for nonconvex optimization with provable guarantees.

研究の動機と目的

• 非凸な有限和最適化に対する Langevin ダイナミクスを用いるアルゴリズムのグローバル収束性を動機づけ、分析する。
• 離散化された Langevin ダイナミクスのエルゴード性を直接分析する統一的な誤差分解フレームワークを構築する。
• GLD、SGLD、SVRG-LDについて、ほぼ最小化点への明示的な収束を確立し、反復回数・勾配計算の複雑さを定量化する。

提案手法

• 非凸有限和 F_n(x)=1/n sum f_i(x) をモデル化する。
• ガウスノイズを組み込んだ更新を用いたEuler-Maruyama離散化を通じて、勾配 Langevin ダイナミクス (GLD) を検討する。
• ミニバッチを用いた確率的勾配 Langevin ダイナミクス (SGLD) を適用する。
• 分散削減を用いた半確率勾配を用いた SVRG-LD を導入する。
• 最適化誤差を以下に分解する: (i) 離散化のエルゴード性ギャップから定常分布へのギャップ, (ii) 定常分布間のギャップ, (iii) グローバル最小点周りの Gibbs 集中性。
• 各アルゴリズムに対して非漸近的境界と反復/勾配複雑さを導出する。

実験結果

リサーチクエスチョン

• RQ1 GLD、SGLD、SVRG-LDは、非凸有限和目的関数に適用した場合に全局収束保証を達成できるか？
• RQ2 これらの Langevin 系手法でほぼ最適解へ到達するための明示的な非漸近的な反復/勾配複雑さのレートは何か？
• RQ3 離散化誤差とエルゴード性は非凸設定におけるグローバル最小値への収束にどう影響するか？
• RQ4 分散削減（SVRG-LD）は、標準の GLD/SGLD と比較して収束保証の点でどうなるか？

主な発見

• GLD はほぼ最適解へ収束し、精度  まで 〖 复? 〗 となる 族の表現が不適切なため、適切に表現してください。
• SGLD はほぼ最適解を、 〖 〗 個の確率的勾配評価以内で達成する。
• SVRG-LD は 〖 〗 個の確率的勾配評価以内でほぼ最適解へ収束し、広いレジームで GLD/SGLD を上回る。
• SVRG-LD は、特定のレジーム下で 〖 〗 以上の勾配複雑さで、非凸有限和最適化に対する最初の全局収束保証を提供する。
• この結果は、より速い反復複雑さを提供し、SVRG-LD の全局収束保証を確立することで、先行研究を改善している。
• 解析はエルゴード性、ポアソン方程式の境界、そして Gibbs 集中を結びつけ、具体的な非漸近的保証を提供する。