[論文レビュー] Stochastic Proximal Langevin Algorithm: Potential Splitting and Nonasymptotic Rates

Adil Salim, Dmitry Kovalev+1 more|arXiv (Cornell University)|May 28, 2019

Markov Chains and Monte Carlo Methods参考文献 36被引用数 4

ひとこと要約

本稿では、滑らかで確率的項と複数の非滑らかで凸な項からなる合成ポテンシャルを持つ対数凸分布のための、新たなサンプリング手法であるStochastic Proximal Langevin Algorithm (SPLA) を提案する。SPLAは滑らかな部分に対して確率的勾配を、各非滑らかな項に対して確率的近位作用素を用いることで、凸性のもとでKL発散度に関して非漸近的で非線形収束率を達成し、強凸性のもとで Wasserstein 距離に関して線形収束率を達成する。

ABSTRACT

We propose a new algorithm---Stochastic Proximal Langevin Algorithm (SPLA)---for sampling from a log concave distribution. Our method is a generalization of the Langevin algorithm to potentials expressed as the sum of one stochastic smooth term and multiple stochastic nonsmooth terms. In each iteration, our splitting technique only requires access to a stochastic gradient of the smooth term and a stochastic proximal operator for each of the nonsmooth terms. We establish nonasymptotic sublinear and linear convergence rates under convexity and strong convexity of the smooth term, respectively, expressed in terms of the KL divergence and Wasserstein distance. We illustrate the efficiency of our sampling technique through numerical simulations on a Bayesian learning task.

研究の動機と目的

• 滑らかでない項を含む合成ポテンシャルを持つモデルにおけるベイズ推論のためのスケーラブルなサンプリングアルゴリズムの開発。
• 完全な近位作用素が実行不可能な状況において、代わりに確率的近位作用素を用いることで、効率的なサンプリングを可能にすること。
• 提案されたアルゴリズムのKL発散度および Wasserstein 距離に関する非漸近的収束保証の確立。
• 最適化分野におけるオペレータ分割技術と確率的サンプリング手法を統合し、数値的安定性とスケーラビリティの向上。

提案手法

• SPLAはポテンシャル $ U(x) = F(x) + \sum_{i=1}^n G_i(x) $ を分解する。ここで $ F $ は滑らかで、各 $ G_i $ は凸だが、非滑らかである可能性がある。
• アルゴリズムは、$ F $ を近似する $ f(x,\xi) $ の確率的勾配と、各 $ G_i $ を近似する $ g_i(x,\xi) $ の確率的近位作用素を用いる。
• 各反復で、SPLAはラングヴィンステップを実行し、その後に独立にサンプリングされた $ \xi $-依存関数を用いて $ n $ 個の逐次的近位更新を実施する。
• この手法は最適化分野における確率的パスティ法をサンプリング文脈に一般化し、大規模な合成後確率分布の効率的取り扱いを可能にする。
• アルゴリズムは逐次的更新により実装される：$ x^{k+1} = \text{prox}_{\gamma g_{e_n}}( \cdots \text{prox}_{\gamma g_{e_1}}( z^k + \sqrt{2\gamma} W^k ) \cdots ) $、ここで $ z^k $ は勾配ステップである。
• 理論的分析では、KL発散度と Wasserstein 距離を含む再帰的関係を用い、凸性および強凸性の仮定のもとで収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 合成ポテンシャルのためのラングヴィンサンプリングに、確率的近位分割技術を効果的に適応できるか？
• RQ2 このような手法のKL発散度および Wasserstein 距離に関する非漸近的収束レートは、どのように確立できるか？
• RQ3 確率的近位作用素の使用は、確率的部分勾配と比較して、数値的安定性と収束速度においてどのように異なるか？
• RQ4 完全な近位作用素が計算的に不可能な大規模グラフや高次元モデルにおいて、この手法は効率的にスケーリングできるか？

主な発見

• 滑らかな項 $ F $ が凸であると仮定すると、SPLAはKL発散度を $ \varepsilon $ 未満に抑えるために $ \mathcal{O}(1/\varepsilon^2) $ 回の反復を必要とし、ステップサイズ $ \gamma = \mathcal{O}(\varepsilon) $ を用いる非漸近的非線形収束率を達成する。
• $ F $ が $ \alpha $-強凸であると仮定すると、Wasserstein 距離は $ \mathcal{O}(\gamma / \alpha) $ のオーバル領域内に線形に減少し、誤差を $ \varepsilon $ 未満に抑えるには $ \mathcal{O}(1/\varepsilon \log(1/\varepsilon)) $ 回の反復が必要となる。
• KL 発散度は、強凸性パラメータ $ \alpha $ に依存するレートで、$ \mathcal{O}(\gamma) $ のオーバル領域内に線形収束する。
• 実世界のグラフ（Facebook, YouTube, Amazon, DBLP）における数値実験では、SPLAは確率的部分勾配法（SSLA）と完全近位作用素を用いるProxLAを上回る収束速度と数値的安定性を示す。
• SPLAはProxLAに比べて約100倍の頻度で反復を生成し、特に大規模グラフにおいて初期段階で顕著に高速である。
• 確率的近位作用素の使用は、$ \ell^1 $-型正則化項に対して、確率的部分勾配と比較してより安定的かつ効率的なサンプリングを実現する。