[論文レビュー] Improved Discretization Analysis for Underdamped Langevin Monte Carlo

Matthew Zhang, Sinho Chewi+3 more|arXiv (Cornell University)|Feb 16, 2023

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

本稿では、非摂動的ラングジュアン・モンテカルロ（ULMC）に対するGirsanovに基づく離散化解析を提案し、リプシッツHessianや強い対数凸性を仮定せず、Poincaré不等式や弱い滑らかさといったより弱い仮定のもとでも改善されたサンプリング保証を可能にする。次世代の次元依存の反復複雑度を達成し、これらの設定においてULMCに対するKLおよびRényi散発の保証を初めて得る。また、連続時間のPDEに基づく加速を離散時間に翻訳することで、加速的結果を初めて得る。

ABSTRACT

Underdamped Langevin Monte Carlo (ULMC) is an algorithm used to sample from unnormalized densities by leveraging the momentum of a particle moving in a potential well. We provide a novel analysis of ULMC, motivated by two central questions: (1) Can we obtain improved sampling guarantees beyond strong log-concavity? (2) Can we achieve acceleration for sampling? For (1), prior results for ULMC only hold under a log-Sobolev inequality together with a restrictive Hessian smoothness condition. Here, we relax these assumptions by removing the Hessian smoothness condition and by considering distributions satisfying a Poincaré inequality. Our analysis achieves the state of art dimension dependence, and is also flexible enough to handle weakly smooth potentials. As a byproduct, we also obtain the first KL divergence guarantees for ULMC without Hessian smoothness under strong log-concavity, which is based on a new result on the log-Sobolev constant along the underdamped Langevin diffusion. For (2), the recent breakthrough of Cao, Lu, and Wang (2020) established the first accelerated result for sampling in continuous time via PDE methods. Our discretization analysis translates their result into an algorithmic guarantee, which indeed enjoys better condition number dependence than prior works on ULMC, although we leave open the question of full acceleration in discrete time. Both (1) and (2) necessitate Rényi discretization bounds, which are more challenging than the typically used Wasserstein coupling arguments. We address this using a flexible discretization analysis based on Girsanov's theorem that easily extends to more general settings.

研究の動機と目的

• 強い対数凸性分布を超えるULMCのサンプリング保証を、Hessianの滑らかさやlog-Sobolev仮定といった制限的な仮定を緩和することで拡張すること。
• より弱い関数的不等式のもとで、ULMCの反復複雑度における次元および条件数依存性を改善すること。
• 連続時間の加速サンプリング結果を、新しい離散化フレームワークを用いて離散時間のアルゴリズム的保証に翻訳すること。
• Poincaréおよびlog-Sobolev条件のもとで、リプシッツHessianを仮定しないULMCに対する、初めてのRényi散発およびKL散発の境界を確立すること。
• Girsanovの定理に基づく柔軟な離散化解析フレームワークを構築し、弱い滑らかさや非対数凸型ポテンシャルへ一般化すること。

提案手法

• ULMCに対する新規のGirsanovに基づく離散化バウンドを提案し、測度変換技術を用いて連続過程と離散過程の間の発散を制御する。
• 変換されたFokker-Planck方程式と、補題5によるFisher情報の減衰を用いて、SDEの法則とその離散化との間のRényi散発をバウンドする。
• 行列 $\mathcal{M}$ を用いたメトリクス変換を導入し、位置と速度成分を分離することで、スコア関数の差のより緊密な制御を可能にする。
• 非対数凸性のもとでHessianのリプシッツ性を仮定しない条件下で、連続時間のlog-Sobolev定数の新しい結果を応用し、KL散発の保証を導出する。
• Caoら（2020）の連続時間加速結果を、Rényi離散化バウンドと時間スケーリングの議論を用いて離散時間の保証に翻訳する。
• Girsanovの定理に基づく柔軟なフレームワークを採用し、Hölder勾配（$s \in (0,1]$）を有する弱い滑らかさのポテンシャルや、Poincaréのような一般関数的不等式へも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 ULMCは、Hessianの滑らかさを仮定せず、Poincaré不等式のもとでサンプリング保証を達成できるか？
• RQ2 ULMCは、先行研究を超えて、次元および条件数依存性の改善を達成できるか？
• RQ3 Caoら（2020）の連続時間加速結果を離散化し、加速収束を示す離散時間アルゴリズムの保証を得られるか？
• RQ4 一般仮定のもとで、ULMCに対するRényi散発バウンドを確立できるか？これにより、Wassersteinより強い収束指標が得られるか？
• RQ5 解析を弱い滑らかさのポテンシャル（高次元分布におけるより現実的な滑らかさ）にまで拡張できるか？

主な発見

• 強い対数凸性およびlog滑らかさのもとで、$\epsilon^2$-KL散発に対して $\widetilde{\mathcal{O}}(\kappa^{3/2}d^{1/2}\epsilon^{-1})$ の反復複雑度を達成し、リプシッツHessianの必要性を排除する。
• log-Sobolev不等式および$L$-滑らかさのポテンシャルのもとで、$\epsilon$-TV距離に対して $\widetilde{\mathcal{O}}(C_{\mathsf{LSI}}^{3/2}L^{3/2}d^{1/2}\epsilon^{-1})$ の複雑度を達成し、Hessianのリプシッツ性仮定なしに実現する。
• Poincaré不等式および$L$-滑らかさのポテンシャルのもとで、ULMCに対する初めての $\epsilon^2$-Rényi散発保証を提供し、複雑度は $\widetilde{\mathcal{O}}(C_{\mathsf{PI}}^{3/2}L^{3/2}d^2\epsilon^{-1})$ である。
• 対数凸性のもとでは $\widetilde{\mathcal{O}}(C_{\mathsf{PI}}Ld^2\epsilon^{-1})$ に改善され、同様の設定における先行Langevin Monte Carlo（LMC）結果を上回る。
• Poincaré不等式のもとで、Hölder勾配（$s \in (0,1]$）を有する弱い滑らかさのポテンシャルに対しても、ULMCに対する初めての保証を確立し、より不規則な分布への適用可能性を拡張する。
• Caoら（2020）の連続時間加速結果を離散時間に翻訳し、先行ULMC研究よりも良い条件数依存性を達成するが、完全な加速は未解決のままである。