[論文レビュー] Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling

Difan Zou, Pan Xu+1 more|arXiv (Cornell University)|Oct 19, 2020

Markov Chains and Monte Carlo Methods参考文献 56被引用数 8

ひとこと要約

本稿は、非対数凸なサンプリングにおける確率的勾配ランジュバン動力学（SGLD）の、導電率に基づく収束解析を提示する。時間可逆なメトロポリス化SGLDを補助マルコフ連鎖として用いることで、より速い収束レートを確立する。一般条件下では、全変動距離における $ ho$-精度を達成するためのステップ数は $ tilde{O}(d^4 ho^{-2})$ であり、先行研究を上回る。さらに、ヘッシアンのリプシッツ性を満たす条件下では $ tilde{O}(d^{15/4} ho^{-3/2})$ に改善される。

ABSTRACT

We provide a new convergence analysis of stochastic gradient Langevin dynamics (SGLD) for sampling from a class of distributions that can be non-log-concave. At the core of our approach is a novel conductance analysis of SGLD using an auxiliary time-reversible Markov Chain. Under certain conditions on the target distribution, we prove that $ ilde O(d^4ε^{-2})$ stochastic gradient evaluations suffice to guarantee $ε$-sampling error in terms of the total variation distance, where $d$ is the problem dimension. This improves existing results on the convergence rate of SGLD (Raginsky et al., 2017; Xu et al., 2018). We further show that provided an additional Hessian Lipschitz condition on the log-density function, SGLD is guaranteed to achieve $ε$-sampling error within $ ilde O(d^{15/4}ε^{-3/2})$ stochastic gradient evaluations. Our proof technique provides a new way to study the convergence of Langevin-based algorithms and sheds some light on the design of fast stochastic gradient-based sampling algorithms.

研究の動機と目的

• 非対数凸なサンプリングにおけるSGLDの収束が遅いため、従来の手法では許容できないほど大きなミニバッチサイズを必要としている問題に対処する。
• 大規模なミニバッチ仮定に依存しない、SGLDのよりタイトな収束解析を構築する。
• 一般条件およびヘッシアンのリプシッツ性条件下で、全変動距離における $ ho$-精度を達成するための勾配複雑度の境界を改善する。
• 時間可逆な補助連鎖を用いた、SGLDの収束行動をよりよく特徴づける新しい理論的枠組みを導入する。

提案手法

• SGLDと目標分布との間の全変動距離をバインドするために、補助的な時間可逆マルコフ連鎖としてメトロポリス化SGLDを導入する。
• 導電率解析を用いて混合時間と収束速度の関係を確立し、補助連鎖の性質を活用する。
• 全変動距離とピンスカーの不等式を用いて、SGLDと補助連鎖の間のカップリングを確立する。
• 正規分布およびカイ二乗分布の濃度不等式と尾部バウンドを用いて、高確率集合内の質量を制御する。
• 遷移核の平均値の差を用いて、SGLDの遷移における全変動距離のバウンドを導出する。
• ヘッシアンのリプシッツ性を活用して、より強い滑らかさ仮定下での勾配複雑度の境界をタイトにする。

実験結果

リサーチクエスチョン

• RQ1 SGLDは、大きなミニバッチサイズを必要とせずに、非対数凸なサンプリングにおいてより速い収束を達成できるか？
• RQ2 時間可逆な補助連鎖は、標準的なLMCベースのアプローチと比較して、SGLDの収束解析をどのように改善できるか？
• RQ3 一般な滑らかさおよび散逸性条件下で、SGLDが全変動距離における $ ho$-精度を達成するための最適な勾配複雑度は何か？
• RQ4 ヘッシアンのリプシッツ性は、SGLDの収束速度と勾配複雑度にどのように影響を与えるか？
• RQ5 導電率に基づく解析は、従来のエルゴディシティーや最適制御に基づく手法と比較して、よりタイトな境界を提供できるか？

主な発見

• 一般条件下では、SGLDは全変動距離における $ ho$-精度を達成するための $ tilde{O}(d^4 ho^{-2})$ 個の確率的勾配評価で達成される。
• 対数密度に追加のヘッシアンのリプシッツ性を仮定すると、勾配複雑度は $ tilde{O}(d^{15/4} ho^{-3/2})$ に改善される。
• メトロポリス化SGLDを補助連鎖として用いた導電率解析により、先行手法よりも鋭い収束保証が得られる。
• 従来の研究（Raginsky et al., 2017; Xu et al., 2018）で問題となっていた大規模なミニバッチサイズの必要性を回避できる。
• 理論的枠組みにより、特に非対数凸設定において、ランジュアンベースのサンプリングアルゴリズムを分析するための新しい道筋が提供される。
• 解析により、SGLDの遷移核が補助連鎖の核に近く保たれることを確立し、強力な収束バウンドが可能になる。