[論文レビュー] High-dimensional Bayesian inference via the Unadjusted Langevin Algorithm

Alain Durmus, Éric Moulines|arXiv (Cornell University)|May 5, 2016

Markov Chains and Monte Carlo Methods被引用数 10

ひとこと要約

この論文は、強い凸性とリプシッツ勾配の仮定の下で、高次元ベイズ推論における非漸近的収束バウンドを、 Wasserstein 距離と全 Variation 距離の次元に関する明示的依存性を含めて提供する。これは、従来のバウンドを改善し、固定精度または固定計算予算のシナリオにおけるステップサイズと反復回数の最適化を実現する。

ABSTRACT

We consider in this paper the problem of sampling a high-dimensional probability distribution $π$ having a density with respect to the Lebesgue measure on $\mathbb{R}^d$, known up to a normalization constant $x \mapsto π(x)= \mathrm{e}^{-U(x)}/\int_{\mathbb{R}^d} \mathrm{e}^{-U(y)} \mathrm{d} y$. Such problem naturally occurs for example in Bayesian inference and machine learning. Under the assumption that $U$ is continuously differentiable, $ abla U$ is globally Lipschitz and $U$ is strongly convex, we obtain non-asymptotic bounds for the convergence to stationarity in Wasserstein distance of order $2$ and total variation distance of the sampling method based on the Euler discretization of the Langevin stochastic differential equation, for both constant and decreasing step sizes. The dependence on the dimension of the state space of these bounds is explicit. The convergence of an appropriately weighted empirical measure is also investigated and bounds for the mean square error and exponential deviation inequality are reported for functions which are measurable and bounded. An illustration to Bayesian inference for binary regression is presented to support our claims.

研究の動機と目的

• 高次元設定における未調整ラングヴィンアルゴリズム（ULA）の、ターゲット事後分布への非漸近的収束レートを確立すること。
• Wasserstein 距離と全 Variation 距離における収束の明示的バウンドを、次元 $d$ に明示的に依存する形で導出すること。
• 定数ステップサイズと減少ステップサイズの両方を分析し、固定精度と固定計算予算の両方に対して最適化すること。
• 強い凸性とリプシッツ勾配条件の下で、既存の文献の全 Variation 距離バウンドを改善すること。
• 重み付き経験測度の収束を検討し、平均二乗誤差と指数的偏差に関するバウンドを提供すること。

提案手法

• ULA は、過減衰ランジュヴィンスデをオイラー＝マルヤム離散化として定式化される：$X_{k+1} = X_k - \gamma_{k+1} \nabla U(X_k) + \sqrt{2\gamma_{k+1}} Z_{k+1}$。
• 収束は、$U$ が連続的に微分可能で、$\nabla U$ がグローバルにリプシッツ的であり、$U$ が強い凸性を満たすという仮定の下で分析される。
• カップリング技術を用いて、$n$ 番目の反復とターゲット分布 $\pi$ 間の全 Variation 距離をバウンドする。
• カップリング時間に関する逆帰納的議論を採用し、ガウス尾部バウンドと $V$-ノルムを用いて誤差伝播を扱う。
• $\Xi_{k_1,k_2}$-型の分散の和とステップサイズ列を用いて、Wasserstein 距離と全 Variation 距離の明示的バウンドを導出する。
• 固定ステップサイズと減少ステップサイズの両方のスキームを含み、固定精度または固定予算の最適化をステップサイズと反復回数の両方で行う。

実験結果

リサーチクエスチョン

• RQ1 強い凸性とリプシッツ勾配条件の下で、Wasserstein 距離と全 Variation 距離における ULA の非漸近的収束レートは何か？
• RQ2 定数ステップサイズと減少ステップサイズの両方において、収束レートが次元 $d$ にどのように明示的に依存するか？
• RQ3 同じ仮定の下で、先行研究と比較して全 Variation 距離のよりタイトなバウンドを導出できるか？
• RQ4 全 Variation 距離において固定精度 $\varepsilon$ を達成するための、ステップサイズと反復回数の最適なトレードオフは何か？
• RQ5 ULA が生成する重み付き経験測度の収束特性は、平均二乗誤差と指数的偏差の観点からどのように評価できるか？

主な発見

• この論文は、固定精度 $\varepsilon$ の下で、ULA の $n$ 番目の反復とターゲット分布 $\pi$ 間の全 Variation 距離に対して、$\mathcal{O}(d\varepsilon^{-2})$ の非漸近的バウンドを確立し、先行研究を改善している。
• 固定ステップサイズ $\gamma$ の下で、強い凸性のもとで全 Variation 距離における収束レートは、$\mathcal{O}(d\gamma^{-1}e^{-\mu \gamma n})$ でバウンドされ、$d$ に明示的に依存する。
• ステップサイズ列 $\gamma_k$ が $\sum_{k=1}^\infty \gamma_k = \infty$ かつ $\gamma_k \to 0$ を満たす減少ステップサイズの下で、Wasserstein 距離における定常分布への収束が確立され、次元に関する明示的依存性が示されている。
• リプシッツ関数に対して、重み付き経験測度の平均二乗誤差は $\mathcal{O}(\gamma + \gamma^{1/2} \sqrt{d/n})$ でバウンドされ、指数的偏差不等式が提供されている。
• 分析により、全 Variation 距離において $\mathcal{O}(d\varepsilon^{-2})$ の反復複雑度を達成するには、ウォームスタートが不要であることが示された。これは、以前の結果がそれを要件としていたのを改善している。
• 定数ステップサイズの下で、ULA の定常分布 $\pi_\gamma$ と $\pi$ 間の距離のバウンドは、$\gamma \to 0$ のとき $\mathcal{O}(\gamma^{1/2})$ に比例し、既知の漸近的挙動と整合的である。