[論文レビュー] Efficient MCMC Sampling with Dimension-Free Convergence Rate using ADMM-type Splitting

Maxime Vono, Daniel Paulin+1 more|arXiv (Cornell University)|May 23, 2019

Markov Chains and Monte Carlo Methods参考文献 86被引用数 8

ひとこと要約

本稿では、ADMM最適化にインspiredされたMCMC手法であるスプリットギブスサンプラー（SGS）の理論的分析を提案し、リッチ・曲率とカップリング技法を用いて次元に依存しない収束レートを示している。全般に、TV距離および1-Wasserstein距離におけるバイアス（非漸近的）と混合時間の明示的で非漸近的な境界を確立しており、高次元設定下でランジュアンおよびハミルトニアンMCMC手法と比較して競争力のある複雑度を示している。

ABSTRACT

Performing exact Bayesian inference for complex models is computationally intractable. Markov chain Monte Carlo (MCMC) algorithms can provide reliable approximations of the posterior distribution but are expensive for large datasets and high-dimensional models. A standard approach to mitigate this complexity consists in using subsampling techniques or distributing the data across a cluster. However, these approaches are typically unreliable in high-dimensional scenarios. We focus here on a recent alternative class of MCMC schemes exploiting a splitting strategy akin to the one used by the celebrated alternating direction of multipliers (ADMM) optimization algorithm. These methods appear to provide empirically state-of-the-art performance but their theoretical behavior in high dimension is currently unknown. In this paper, we propose a detailed theoretical study of one of these algorithms known as the split Gibbs sampler. Under regularity conditions, we establish explicit convergence rates for this scheme using Ricci curvature and coupling ideas. We support our theory with numerical illustrations.

研究の動機と目的

• ADMMにインspiredされた新規MCMC手法としてのスプリットギブスサンプラー（SGS）を、高次元ベイズ推論設定において理論的に分析すること。
• 全般に、真の後部布と比較したSGSが生じるバイアスを、全変動距離および1-Wasserstein距離を用いて定量化すること。
• リッチ・曲率とカップリング技法を用いて、SGSの明示的かつ次元に依存しない収束レートを確立すること。
• 次元、条件数、精度に明示的な依存関係を持つ混合時間の境界を導出すること。
• 実応用における実数的数値実験を通じて理論的結果の妥当性を検証すること。

提案手法

• 本手法はADMMに類似した分割戦略を採用し、ターゲットパラメータの人工的複製を導入することで、分散型MCMCサンプリングを可能にする。
• SGSは、マスターパラメータと複製されたノードパラメータを含む関連する共同後部布のギブスサンプラーとして定式化される。
• 収束解析は、リッチ・曲率の境界とカップリングの議論を用いて行われ、次元に依存しないスペクトルギャップ推定が得られる。
• 正則性条件の下で、SGSのターゲット分布と真の後部布との間のTV距離および1-Wasserstein距離の明示的非漸近的境界が導出される。
• スペクトルギャップと初期分布の依存性を用いて混合時間を境界化し、次元および精度に明示的な依存関係が得られる。
• 高次元ガウスモデルにおける数値実験を通じて、バイアスと収束に関する理論的境界の妥当性が検証される。

実験結果

リサーチクエスチョン

• RQ1 スプリットギブスサンプラーが真の後部布分布と比較して生じるバイアスは、TV距離および1-Wasserstein距離の観点でどのように定量化できるか？
• RQ2 スプリットギブスサンプラーは高次元モデルにおいて次元に依存しない収束レートを達成できるか？
• RQ3 SGSの収束レートおよび混合時間は、次元、条件数、およびターゲット精度に関してどのようにスケーリングされるか？
• RQ4 混合時間の初期分布およびSGS連鎖のスペクトルギャップに明示的な依存関係は何か？
• RQ5 理論的境界は、ランジュアンやハミルトニアンダイナミクスのような最先端のMCMC手法と比較して実際の応用でどのように評価されるか？

主な発見

• SGSのターゲット分布と真の後部布との間のバイアスは、全変動距離および1-Wasserstein距離で境界づけられており、分割パラメータρおよびモデルパラメータに明示的な依存関係を示す。
• TVバイアス ≤ ε/2 となる十分条件が導出され、ρ²がd_i M_iおよびσ_U⁴の和を含む関数によって上界に制限されることを要請する。この関数は次元dに明示的な依存関係を示す。
• SGS連鎖のスペクトルギャップは、K_SGSによって下界から抑えられ、これは次元に依存しないため、次元に依存しない収束レートが可能になる。
• 混合時間 t_mix(ε;ν) は O(log(2/ε)/K_SGS) で境界づけられており、初期分布およびK_SGSに明示的な依存関係を示し、良好なスケーリングを示す。
• 理論的境界は、高次元設定下でランジュアンおよびハミルトニアンMCMCスキームのそれらと同等の性能を示す。
• トゥイガウス例における数値結果は、理論的境界のタイトさを確認し、ベースラインMCMC手法に比べてSGSの優位性を示している。