[論文レビュー] On the Theory of Variance Reduction for Stochastic Gradient Monte Carlo

Niladri S. Chatterji, Nicolas Flammarion+3 more|arXiv (Cornell University)|Feb 15, 2018

Markov Chains and Monte Carlo Methods参考文献 23被引用数 29

ひとこと要約

本稿は、滑らかで強く凸かつヘッセ行列のリプシッツ連続性を満たす対数後騋分布の下で、分散低減型確率的勾配モンテカルロ法—SAGA-Langevin、SVRG-Langevin、および制御変数を用いた非定常Langevin拡散—の Wasserstein 距離における鋭い収束保証を確立する。有限和最適化とサンプリング解析を統合した新しいリャプノフ関数に基づく証明手法を導入し、分散低減法が精度 ε に対して $Ó(N + \sqrt{d}/\epsilon)$ ステップで収束することを示し、低精度領域では標準的な SGLD の $\u00d3(d/\epsilon^2)$ より優れていることを明らかにする。

ABSTRACT

We provide convergence guarantees in Wasserstein distance for a variety of variance-reduction methods: SAGA Langevin diffusion, SVRG Langevin diffusion and control-variate underdamped Langevin diffusion. We analyze these methods under a uniform set of assumptions on the log-posterior distribution, assuming it to be smooth, strongly convex and Hessian Lipschitz. This is achieved by a new proof technique combining ideas from finite-sum optimization and the analysis of sampling methods. Our sharp theoretical bounds allow us to identify regimes of interest where each method performs better than the others. Our theory is verified with experiments on real-world and synthetic datasets.

研究の動機と目的

• 同一の現実的で一般的な仮定の下で、分散低減技術を統一的かつ厳密に分析すること。
• 先行研究における矛盾する実験的結果を解消するため、Wasserstein 距離における鋭い非漸近的収束レートを提供すること。
• 分散低減法が標準的な SGLD を上回る性能を示す、明確に区別できる性能領域を特定すること。
• 収束境界の向上を図るため、有限和最適化とサンプリング理論を統合した新しい証明フレームワークを構築すること。

提案手法

• Wasserstein 距離における収束進行を追跡するため、新しいカップリング論法に基づくリャプノフ関数を提案する。
• この手法を用いて SAGA-Langevin、SVRG-Langevin、および制御変数を用いた非定常Langevin拡散（CV-ULD）を分析する。
• 連続的および離散的非定常Langevinダイナミクスの積分表現を用いて、安定性および収束境界を導出する。
• 対数後騋分布の滑らかさ、強い凸性、ヘッセ行列のリプシッツ連続性を仮定し、従来のグローバル勾配ノルムの上限を緩和する。
• ヤングの不等式とモーメントバウンドを用いて、初期分布および中間分布のターゲットからの距離を制御する。
• カップリング論法と拡散過程の固有値特性を組み合わせることで、非漸近的収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 分散低減型 SG-MCMC 法が Wasserstein 距離において標準的な SGLD よりも速く収束する条件は何か？
• RQ2 同一の仮定の下で、SAGA-LD、SVRG-LD、および CV-ULD を比較可能な統一的理論枠組みで開発できるか？
• RQ3 初期分布の質と勾配分散が SG-MCMC の収束レートに与える影響は何か？
• RQ4 異なる分散低減戦略は、 varying 目標精度 $\epsilon$ の下でどのように性能を発揮するか？
• RQ5 有限和最適化からの証明技法をサンプリング問題に適応することで、よりタイトな境界を得られるか？

主な発見

• 本稿は、分散低減法の収束ステップ数が $\tilde{\mathcal{O}}(N + \sqrt{d}/\epsilon)$ であることを確立し、低精度領域では SGLD の $\tilde{\mathcal{O}}(d/\epsilon^2)$ より顕著に優れていることを示した。
• SAGA-Langevin および SVRG-Langevin は、データポイント数 $N$ に伴い収束レートが有利にスケーリングされる。これは、有限和最適化の根拠を反映している。
• 制御変数を用いた非定常Langevin（CV-ULD）は、2次元ダイナミクスのおかげで、勾配分散が低減された場合に高速な混合を実現できる。
• 理論的境界は、目標精度 $\epsilon$ が小さい場合に分散低減法が SGLD を上回ることを確認している。一方、低精度の後騋分布推定では SGLD が望ましい。
• 初期分布とターゲットとの距離は $W_2^2(p^{(0)}, p^*) \leq 2d/m$ で有界であり、これはグローバル収束を確立する上で重要である。
• リャプノフ関数アプローチにより、非定常スデにおける位置と速度の両ダイナミクスを追跡することで、従来の手法よりもタイトな境界が得られた。