[論文レビュー] Sqrt(d) Dimension Dependence of Langevin Monte Carlo

Ruilin Li, Hongyuan Zha+1 more|arXiv (Cornell University)|Sep 8, 2021

Markov Chains and Monte Carlo Methods参考文献 36被引用数 5

ひとこと要約

本稿は、対数的滑らかさ、対数的強い凸性、および3階微分の成長条件の下で、2- Wasserstein 距離における未調整ラングヴィン・モンテカルロ（LMC）の非漸近的解析を提供し、混合時間の上界を $\widetilde{\mathcal{O}}\left(\frac{\sqrt{d}}{\epsilon}\right)$ に改善した。この結果は、以前の $\widetilde{\mathcal{O}}\left(\frac{d}{\epsilon}\right)$ の上界を改善しており、次元 $d$ と精度 $\epsilon$ において両方最適であり、SDE 離散化のための洗練された2次モーメント解析フレームワークを用いている。

ABSTRACT

This article considers the popular MCMC method of unadjusted Langevin Monte Carlo (LMC) and provides a non-asymptotic analysis of its sampling error in 2-Wasserstein distance. The proof is based on a refinement of mean-square analysis in Li et al. (2019), and this refined framework automates the analysis of a large class of sampling algorithms based on discretizations of contractive SDEs. Using this framework, we establish an $ ilde{O}(\sqrt{d}/ε)$ mixing time bound for LMC, without warm start, under the common log-smooth and log-strongly-convex conditions, plus a growth condition on the 3rd-order derivative of the potential of target measures. This bound improves the best previously known $ ilde{O}(d/ε)$ result and is optimal (in terms of order) in both dimension $d$ and accuracy tolerance $ε$ for target measures satisfying the aforementioned assumptions. Our theoretical analysis is further validated by numerical experiments.

研究の動機と目的

• 高次元サンプリングにおける LMC の混合時間について、最も良い既知の上界と理論的下界の間のギャップを埋めること。
• SDEに基づくアルゴリズムの非漸近的サンプリング誤差を、洗練された2次モーメント解析を用いて一般かつ自動化可能なフレームワークとして開発すること。
• 標準的な滑らかさおよび凸性仮定の下で、未調整 LMC の混合時間における次元依存性が最適な $\sqrt{d}$ であることを確立すること。
• 数値実験を通じて理論的上界の妥当性を検証し、以前に予想されたよりも優れた収束スケーリングを示すこと。

提案手法

• Li ら（2019）の先行研究を拡張し、収縮性 SDE の離散化を解析するための洗練された2次モーメント解析フレームワークを構築した。
• 高次モーメントの境界を組み込み、ドリフト項および拡散項の精密な推定に伊藤の補題を活用した。
• 主な技術的ツールには、ジェンセンの不等式、コーシー＝シュワルツの不等式、および高次モーメントを制御するための3階微分の成長に関する境界が含まれる。
• 反復点の2次モーメントの時間発展を追跡し、ステップサイズ制約 $h \leq \frac{1}{4\kappa L}$ の下で一様有界性を確立した。
• 2-Wasserstein 距離誤差は、元の SDE の収束速度と離散化誤差を関連付けることで境界化された。
• 三角不等式とモーメント推定の新規な応用により、LMC 反復点がターゲット分布にタイトに結合されることを可能にした。

実験結果

リサーチクエスチョン

• RQ1 LMC の $\widetilde{\mathcal{O}}(d/\epsilon)$ の混合時間上界は、次元依存性においてタイトか？
• RQ2 洗練された2次モーメント解析フレームワークは、SDEに基づくサンプリングアルゴリズムの誤差解析を自動化できるか？
• RQ3 標準的な正則性条件下で、未調整 LMC の混合時間の最適な次元依存性は何か？
• RQ4 3階微分の成長条件を含めることで、以前に知られていたものよりタイトな境界が得られるか？

主な発見

• 本稿は、2-Wasserstein 距離における LMC について、$\widetilde{\mathcal{O}}\left(\frac{\sqrt{d}}{\epsilon}\right)$ の混合時間上界を確立し、以前の $\widetilde{\mathcal{O}}\left(\frac{d}{\epsilon}\right)$ の上界を改善した。
• 与えられた仮定（対数的滑らかさ、対数的強い凸性、3階微分の成長）の下で、この改善された上界は次元 $d$ と精度許容誤差 $\epsilon$ の両方において最適である。
• 解析フレームワークは一般性を有しており、収縮性 SDE の離散化に基づく広範なクラスのサンプリングアルゴリズムの誤差解析を自動化できる。
• ステップサイズ制約 $h \leq \frac{1}{4\kappa L}$ の下で、LMC の反復点の2次モーメントが一様有界であることが示され、安定性が保証された。
• 数値実験により理論的結果が検証され、以前に予想されたよりも次元に伴う収束スケーリングが速いことが示された。